Hur pålitliga är AI-detektorer? Det här bör du veta innan du litar på resultatet
Kort svar: de är användbara, men de har inte alltid rätt. Den som använder dem som enda bevis riskerar att peka ut någon som är oskyldig.
Vad mäter en detektor egentligen?
En detektor vet inte vem som skrev texten. Den tittar på själva texten och frågar: liknar det här sådant som språkmodeller brukar producera? Den mäter hur jämna meningarna är, hur förutsägbara ordvalen är och hur ofta färdiga fraser återkommer. Resultatet är alltså en uppskattning utifrån mönster, inte ett bevis på vem som höll i pennan.
Varför blir det fel?
- Korta texter. Några få meningar räcker inte för att mäta ett mönster. Ju kortare text, desto osäkrare resultat.
- Formellt språk. Rapporter, uppsatser och juridiska texter är regelbundna av naturen och kan därför se genererade ut.
- Andraspråk. Den som skriver på ett annat språk än sitt modersmål väljer säkra och förutsägbara formuleringar, och pekas ut oftare än vad som är rimligt.
- Bearbetad text. En text som genererats och sedan skrivits om av en människa hamnar mittemellan, och detektorer bedömer den olika.
- Språket. Det mesta av forskningen och verktygen utgår från engelska. Resultat på svenska är mindre pålitliga.
Fel åt båda hållen
En mänsklig text kan pekas ut som genererad, och en genererad text kan slinka igenom. Eftersom detektorer arbetar på olika sätt kan två verktyg ge helt olika siffror för samma text. Det betyder inte att ett av dem är trasigt, utan att frågan i sig är osäker.
Så läser du ett resultat
Titta på tre saker: procentsatsen, hur säker bedömningen är och vilka meningar som stack ut. En hög siffra med låg säkerhet säger inte mycket. Fråga dig också om förklaringen stämmer med det du själv ser i texten.
Om du är lärare
Låt resultatet bli början på ett samtal. Fråga eleven om arbetsprocessen, utkasten och källorna, och be hen förklara en tanke ur texten muntligt. Sätt inte ett betyg eller en påföljd utifrån en siffra från en detektor.
Om du är elev eller student
Spara dina utkast och anteckningar. De är det bästa beviset på att arbetet är ditt. Om din text felaktigt pekas ut, be lugnt om att få gå igenom den med läraren och visa hur du har arbetat.