Les détecteurs d'IA sont-ils fiables ? Ce qu'il faut savoir avant de se fier au résultat
En bref : ils sont utiles, mais ils n'ont pas toujours raison. Qui s'en sert comme seule preuve risque de mettre en cause quelqu'un qui n'a rien fait de mal.
Que mesure vraiment un détecteur ?
Un détecteur ne sait pas qui a écrit un texte. Il regarde le texte lui-même et se demande : cela ressemble-t-il à ce que produisent d'ordinaire les modèles de langage ? Il mesure la régularité des phrases, la prévisibilité du vocabulaire et la fréquence des formules toutes faites. Le résultat est une estimation fondée sur des régularités, pas la preuve de qui tenait le stylo.
Pourquoi se trompe-t-il ?
- Les textes courts. Quelques phrases ne suffisent pas à mesurer une régularité. Plus le texte est court, moins le résultat est fiable.
- L'écriture formelle. Les rapports, les devoirs universitaires et les textes juridiques sont réguliers par nature et peuvent sembler générés.
- La langue seconde. Celui qui n'écrit pas dans sa langue maternelle choisit des tournures sûres et prévisibles, et se voit signalé plus souvent qu'il ne serait juste.
- Le texte retravaillé. Un texte généré puis réécrit par une personne se situe entre les deux, et les détecteurs le jugent différemment.
- La langue. L'essentiel de la recherche et des outils part de l'anglais. Les résultats en français sont moins fiables.
Des erreurs dans les deux sens
Un texte humain peut être signalé comme généré, et un texte généré peut passer inaperçu. Comme les détecteurs fonctionnent différemment, deux outils peuvent donner des chiffres très éloignés pour le même texte. Cela ne veut pas dire que l'un d'eux est en panne. Cela veut dire que la question elle-même est incertaine.
Comment lire un résultat
Regardez trois choses : le pourcentage, le niveau de confiance et les phrases qui ont retenu l'attention. Un chiffre élevé avec une confiance faible ne dit pas grand-chose. Demandez-vous aussi si l'explication correspond à ce que vous voyez dans le texte.
Si vous enseignez
Faites du résultat le début d'une conversation. Interrogez l'élève sur sa démarche, ses brouillons et ses sources, et demandez-lui d'expliquer à l'oral une idée du texte. Ne fondez ni une note ni une sanction sur le chiffre d'un détecteur.
Si vous êtes élève ou étudiant
Conservez vos brouillons et vos notes. Ce sont la meilleure preuve que le travail est le vôtre. Si votre texte est signalé à tort, demandez calmement à le revoir avec votre enseignant et montrez comment vous avez travaillé.