Wie verlässlich ist ein Turnitin-KI-Score bei kurzen Dokumenten?

Die eigene Formulierung von Turnitin zu kurzen Dokumenten ist eindeutig: „In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als „alles oder nichts" aus, weil wir die Vorhersage auf einem einzigen Segment treffen und keine Möglichkeit haben, Abschnitte überlappen zu lassen.)

Dieser Satz stammt aus dem FAQ von Turnitin zur Erkennung von KI-Schreiben. Er beschreibt, was mit der Vorhersage passiert, wenn zu wenig Text vorliegt: Das Modell laviert nicht, es legt sich fest. Eine kurze Arbeit wird eher als Ganzes beurteilt als Satz für Satz.

Das ist deshalb wichtig, weil die meisten Annahmen über KI-Scores von langen Arbeiten stammen. Bei einem langen Dokument arbeitet der Detektor über viele Segmente, und der Prozentwert kann eine Mischung abbilden. Bei einem kurzen Dokument bleibt für solche Zwischentöne wenig Raum.

Der Grund liegt im Verfahren. Turnitin beschreibt es so: „sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Die Sätze der Einreichung werden extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, mit welcher Wahrscheinlichkeit der Text von einem Menschen oder von einer KI stammt.)

Bei einer langen Arbeit geben diese überlappenden Abschnitte dem Modell viele Gelegenheiten, dieselben Sätze aus unterschiedlichen Blickwinkeln zu betrachten. Die Werte der einzelnen Sätze werden zusammengeführt und dann zum Dokumentenwert aggregiert, was das Ergebnis glättet — dieselbe Aggregation, die in was die KI-Erkennung von Turnitin prüft und wie der Score zustande kommt beschrieben wird.

Bei nur wenigen hundert Wörtern gibt es im Grunde einen einzigen Abschnitt. Keine Überlappung, kein Zusammenführen mehrerer Blickwinkel. Der Dokumentenwert übernimmt das Urteil einer einzigen Klassifizierung — deshalb fällt die Vorhersage eher als „alles" oder „nichts" aus als irgendwo dazwischen.

Die Folge steht im nächsten Satz von Turnitin: „This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass Text, der KI-generierte und eigene Inhalte mischt, als vollständig KI-generiert markiert werden kann.)

In einer kurzen Arbeit kann also eine überwiegend selbst geschriebene Seite, die eine KI-generierte Passage enthält, so bewertet werden, als wäre das Ganze von einer KI geschrieben. Das Modell hat nicht genug Abschnitte, um beides zu trennen. Es sagt nicht, dass jeder Teil des Dokuments generiert wurde; es sagt, dass die Vorhersage auf ein einziges Urteil zusammengefallen ist — einer der Wege, auf denen ein Turnitin-KI-Score von 100 % trotzdem von einem Menschen geschrieben sein kann.

Deshalb können zwei kurze Arbeiten mit demselben tatsächlichen Anteil an KI-Text völlig unterschiedlich aussehen. Der Score ist kein genaues Maß dafür, wie viel des Dokuments von einer KI stammt. Er ist eine Vorhersage, die auf begrenztem Material beruht.

Es gibt einen Satz, der hier gern zitiert wird, und es kommt darauf an, woher er stammt. Turnitin schrieb in einem Hinweis zu einer Versionsänderung vom 15. Dezember 2023: „our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (Unsere Genauigkeit steigt mit etwas mehr Text, sodass Einreichungen mit weniger als 300 Wörtern zu einem KI-Schreib-Score führen können, der wahrscheinlich weniger genau ist.) Dieser Hinweis trägt den Titel „AI writing detection processing bug fix," (Fehlerbehebung bei der Verarbeitung der KI-Schreiberkennung), im Absatz über dem Satz heißt es „This issue has now been resolved," (Dieses Problem ist inzwischen behoben), und der Fehler bestand darin, dass Einreichungen unter 300 Wörtern überhaupt verarbeitet wurden. Der Satz beschreibt Berichte, die zwischen dem 6. und dem 15. Dezember 2023 erstellt wurden.

Deshalb ist er heute schwer anzuwenden. Nach der Fehlerbehebung erhält eine Einreichung unter 300 Wörtern Fließtext keinen ungenaueren Score. Sie erhält gar keinen Score. Die aktuellen Dateianforderungen sagen, eine Datei „must have at least 300 words of prose text in a long-form writing format," (müsse mindestens 300 Wörter Fließtext in einem langen Schreibformat enthalten). Wenn Sie also unter dieser Grenze liegen und sich auf einen unzuverlässigen Prozentwert gefasst machen, werden Sie stattdessen gar keinen AI Writing Report sehen. Wie viel von einer Einreichung überhaupt als Text zählt, ist eine eigene Frage, die in was bei der KI-Erkennung von Turnitin als qualifizierender Text gilt behandelt wird.

Wenn Sie eine sehr kurze Einreichung vor sich haben, sollte die Zahl im Bericht als grober Hinweis verstanden werden, nicht als Messwert.

Die Orientierung von Turnitin für alle, die einen KI-Score lesen, gilt unabhängig davon, ob das Dokument lang oder kurz ist: „the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Der Prozentwert beim KI-Schreib-Indikator sollte nicht als alleinige Grundlage für Maßnahmen oder als endgültige Bewertungsgrundlage durch Lehrende verwendet werden.)

Bei kurzen Dokumenten wiegt das noch schwerer, weil der Score sowohl nach dem Alles-oder-Nichts-Prinzip zustande kommt als auch ungenauer ist. Eine harte Reaktion auf den Score eines kurzen Dokuments behandelt eine grobe Vorhersage, als wäre sie eine gemessene Tatsache. Turnitin sagt außerdem, der Score „is not meant to provide definitive answers in isolation," (sei nicht dafür gedacht, für sich allein endgültige Antworten zu liefern), und wer ihn liest, sollte die Zahl gegen die persönliche Kenntnis des Studierenden und seiner Arbeit abwägen. Die Seiten für Lehrende gehen noch weiter und legen dar, was Lehrende tun sollen, wenn der KI-Prozentwert hoch ist.

Die praktische Lesart ist einfach. Ein niedriger Score bei einer kurzen Arbeit ist eine Nachfrage wert; ein hoher Score bei einer kurzen Arbeit ebenfalls, bevor jemand ihn als Urteil über den gesamten Text behandelt.