Wie zuverlässig sind KI-Detektoren? Was du wissen solltest, bevor du dem Ergebnis traust
Kurz gesagt: Sie sind nützlich, liegen aber nicht immer richtig. Wer sie als einzigen Beweis verwendet, riskiert, jemanden zu Unrecht zu beschuldigen.
Was misst ein Detektor eigentlich?
Ein Detektor weiß nicht, wer einen Text geschrieben hat. Er betrachtet den Text selbst und fragt: Ähnelt das dem, was Sprachmodelle üblicherweise erzeugen? Er misst, wie gleichmäßig die Sätze sind, wie vorhersehbar die Wortwahl ist und wie oft fertige Wendungen wiederkehren. Das Ergebnis ist eine Schätzung anhand von Mustern, kein Beweis dafür, wer den Stift gehalten hat.
Warum liegt er falsch?
- Kurze Texte. Ein paar Sätze reichen nicht, um ein Muster zu messen. Je kürzer der Text, desto unsicherer das Ergebnis.
- Förmliche Sprache. Berichte, Hausarbeiten und juristische Texte sind von Natur aus regelmäßig und können generiert wirken.
- Zweitsprache. Wer nicht in seiner Erstsprache schreibt, wählt sichere, vorhersehbare Formulierungen und wird häufiger markiert, als fair wäre.
- Überarbeitete Texte. Ein Text, der generiert und dann von einem Menschen umgeschrieben wurde, liegt dazwischen, und Detektoren beurteilen ihn unterschiedlich.
- Die Sprache. Der größte Teil der Forschung und der Werkzeuge geht vom Englischen aus. Ergebnisse auf Deutsch sind weniger verlässlich.
Fehler in beide Richtungen
Ein menschlicher Text kann als generiert markiert werden, und ein generierter Text kann durchrutschen. Weil Detektoren unterschiedlich arbeiten, können zwei Werkzeuge für denselben Text sehr verschiedene Werte liefern. Das heißt nicht, dass eines defekt ist. Es heißt, dass die Frage selbst unsicher ist.
So liest du ein Ergebnis
Achte auf drei Dinge: den Prozentwert, die Sicherheit der Einschätzung und die Sätze, die aufgefallen sind. Ein hoher Wert bei geringer Sicherheit sagt wenig aus. Frage dich außerdem, ob die Begründung zu dem passt, was du im Text siehst.
Wenn du unterrichtest
Nimm das Ergebnis als Anfang eines Gesprächs. Frage nach dem Arbeitsprozess, den Entwürfen und den Quellen, und lass dir einen Gedanken aus dem Text mündlich erklären. Stütze keine Note und keine Sanktion auf die Zahl eines Detektors.
Wenn du Schülerin, Schüler oder Studierende bist
Bewahre deine Entwürfe und Notizen auf. Sie sind der beste Beleg dafür, dass die Arbeit von dir stammt. Wird dein Text zu Unrecht markiert, bitte ruhig darum, ihn gemeinsam durchzugehen, und zeige, wie du gearbeitet hast.