För AI vinner hallucination över ärlighet

Som många av oss märkt kan språkmodeller, som ChatGPT, leverera felaktiga svar med stor självsäkerhet. Ny forskning visar att dessa så kallade hallucinationer inte är något mysterium – de är ett direkt resultat av hur modellerna tränas och testas. Nu föreslås nya utvärderingsmetoder som uppmuntrar ärlighet istället för gissningar.

Språkmodeller får högre poäng för att gissa

Forskare har analyserat varför språkmodeller ibland ger felaktiga svar trots att de verkar säkra. Det visar sig att modellerna tränats på ett sätt som belönar gissningar. I praktiken innebär det att om en modell chansar rätt får den full poäng i träningstester – säger den "jag vet inte", får den däremot noll poäng.

Studien visade hur detta uppmuntrar modeller att alltid gissa, även vid stor osäkerhet. Forskarna demonstrerade detta genom att be modellerna om exakta födelsedagar och avhandlingstitlar – resultatet blev självsäkra men olika och felaktiga svar. 

Lösningen som föreslås är att helt enkelt vikta om poängsättningen under träningen och inte ”bestraffa” modellen lika hårt när den inte kan ge ett korrekt svar.

Det är mer trovärdigt att inte alltid veta

Det är inte konstigt att språkmodeller gissar – vi har tränat dem att bli bra på det. Här skiljer de sig inte särskilt mycket från oss, de flesta har någon gång under skoltiden suttit med ett prov och valt att chansa på en fråga för att i alla fall ha möjlighet att få en poäng istället för att erkänna att vi faktiskt inte vet. 

Resultatet är modeller som hellre hittar på än erkänner sina begränsningar.

Det nya förslaget att förändra hur språkmodeller utvärderas är inte bara tekniskt viktigt, det kan även påverka hur vi förhåller oss till AI. Om vi slutar straffa osäkerhet kan vi få AI som faktiskt medger att den inte vet, vilket i sin tur kommer att öka vår tillit till modellerna och skapa en större trygghet när vi interagerar med dem.