Open AI nya AI-tester och hantering av hallucinationer

Den 5 september 2025 föreslog OpenAI en ny teststandard: AI ska belönas för försiktighet, inte bara för träffsäkerhet. För svenska myndigheter, som snart får AI Act som spelregel, kan detta bli en signal om att krav på ”tillförlitlighet” behöver skrivas om.

Varför pratar alla om AI-hallucinationer?

En AI-hallucination är när en modell hittar på fakta. Svaret kan låta korrekt, men är i själva verket fel. Detta uppstår eftersom modeller ofta är tränade att alltid ge ett svar, även när underlaget saknas. Chatten hittar på meningar som kan låta bra och uppfattas som sanning, användare kan få information som uppfattas korrekt men inte stämmer alls.

I offentlig sektor blir det särskilt riskfyllt. En felaktig uppgift i ett beslutsstöd kan få konsekvenser för både rättssäkerhet och ekonomi.

OpenAIs förslag ?

I sitt blogginlägg den 5 september 2025 föreslår OpenAI att testmetoder (”evals”) ska premiera modeller som avstår vid osäkerhet. Felaktiga svar ska ge minuspoäng, medan ”vet ej” inte ska straffas.

Målet är att göra modeller mer tillförlitliga, inte bara mer träffsäkra.

Idag mäts AI ofta på ”accuracy” – alltså hur många svar som är rätt. Men en modell som gissar på allt kan ändå få hög accuracy, trots många fel.

OpenAI vill därför lägga till två nya mått:

Kalibrering – överensstämmelsen mellan modellens säkerhet och faktiska korrekthet.
Abstention – förmågan att säga ”vet ej” när underlaget är otillräckligt.

Detta kan ses som en mer realistisk bild av hur pålitlig en AI faktiskt är.

Digg, AI Act och upphandling?

För Sverige kan OpenAI:s förslag få direkt påverkan. Digg (Myndigheten för digital förvaltning) ger vägledning för AI i offentlig sektor, och AI Act kräver att system i högriskmiljöer ska vara robusta och transparenta.

Om upphandlingar idag ofta fokuserar på högsta träffsäkerhet, kan framtida krav behöva inkludera avsaknad av felaktiga svar. Med andra ord: att en modell ibland avstår kan vara en kvalitet i sig.

Räkneexempel

Två AI-modeller får 10 frågor. Resultaten kan jämföras så här:

Modell	Rätt	Fel	”Vet ej”	Accuracy	Poängsystem (+1/–1/0)
A – svarar alltid	6	4	0	60 %	2
B – svarar försiktigt	5	0	5	50 %	5

Modell A ser bättre ut på papper med högre accuracy, men gör flera fel.
Modell B har lägre accuracy men blir mer pålitlig – eftersom den aldrig hittar på svar.

I ett beslutsstöd för exempelvis vården eller myndigheter kan det vara viktigare att undvika fel än att alltid svara. Därför mäts inte bara träffsäkerhet, utan även tillförlitlighet.

’VET EJ’ KAN VARA BÄTTRE

När Ebba Busch använde AI för att förbereda ett tal fick hon uppgifter som senare visade sig inte stämma. Det felaktiga citatet spreds snabbt i medier och sociala kanaler och fortsatte påverka debatten, även efter att hon rättade sig. Det visar varför en AI som vågar säga “vet ej” ofta är mer tillförlitlig än en som chansar på ett felaktigt svar.

Tips tillsvidare. Så gör du GPT-modellen mer försiktig

Testa själv hur en AI förändras när du instruerar den att säga ”vet ej” vid osäkerhet:

Öppna ChatGPT eller en annan AI-modell.
Kör följande prompt:”Du är en faktagranskande assistent. Om du är osäker: Svara ’Vet ej’ och lista vad som skulle krävas för att kunna svara. Fråga: <din fråga här>.”
Ställ samma fråga igen – men utan prompten.
Jämför svaren:
- Kom fler felaktiga men självsäkra svar utan prompten?
- Gav modellen fler ’vet ej’ med prompten?
Om ja, har du sett skillnaden mellan träffsäkerhet (hur många rätt) och tillförlitlighet (att undvika felaktigheter).

Läs om fler resurser i vår samlingssida om ChatGPT.