Weshalb Turnitin Ihre Arbeit zu 100 % als KI-geschrieben einstuft

Drei Konstellationen bringen sehr viel häufiger eine 100 hervor als der Fall, dass jeder Satz, den Sie geschrieben haben, klingt, als hätte ihn eine Maschine verfasst — und Sie können sie in rund zehn Minuten bestätigen oder ausschließen. Prüfen Sie zuerst, welche Zahl Sie in der Hand halten: Der KI-Schreibindikator ist laut Turnitin für Studierende nicht sichtbar; eine Zahl also, die Sie selbst in Ihrer eigenen Ansicht gefunden haben, ist der Ähnlichkeitswert und nicht der KI-Wert. Prüfen Sie, wie viel fortlaufende Prosa die Datei enthält: Turnitin zufolge ist die Vorhersage bei Dokumenten von nur wenigen hundert Wörtern „mostly 'all or nothing'" (meist „alles oder nichts"), weil auf einem einzigen Segment und ohne jede Überlappungschance vorhergesagt wird. Prüfen Sie, worauf sich die 100 bezieht: Der Prozentwert wird über die qualifizierenden Textstellen berechnet, und Turnitin sagt, dieser Wert „is not necessarily the percentage of the entire submission" (sei nicht notwendigerweise der Prozentsatz der gesamten Einreichung). Erst wenn alle drei ausscheiden, lohnt sich die Frage, was das Modell im Text selbst gesehen hat.

Die drei verlangen völlig unterschiedliche Reaktionen, und deshalb zählt die Reihenfolge mehr als die Erklärung. Auf dieser Seite geht es darum, wie eine Extremzahl zustande kommt. Sie ist kein Leitfaden für ein Gespräch über Fehlverhalten, und nichts hier sagt voraus, was ein künftiger Bericht enthalten wird.

Turnitin äußert sich unmissverständlich dazu, wer die KI-Zahl sehen kann. In den eigenen Hinweisen heißt es, „only instructors and administrators are able to see the indicator" (nur Lehrkräfte und Administratoren können den Indikator sehen), und an anderer Stelle: „The AI writing detection indicator and report are not visible to students." (Der Indikator und der Bericht zur Erkennung von KI-Schreiben sind für Studierende nicht sichtbar.) Der Satz unmittelbar danach ist ebenso wichtig: „However, with the PDF download feature, instructors can download and share the AI report with students." (Mit der PDF-Download-Funktion können Lehrkräfte den KI-Bericht jedoch herunterladen und mit Studierenden teilen.) Beide Wege existieren also. Eine PDF-Datei, die Ihnen jemand geschickt hat, kann durchaus der KI-Bericht sein. Ein Prozentwert, auf den Sie selbst in Ihrer eigenen Einreichungsansicht geklickt haben, ist nicht der KI-Indikator.

Damit bleibt die andere Zahl, und dort ist 100 ein weitaus gewöhnlicherer Wert. Ein Ähnlichkeitswert von 100 % hat einen dokumentierten und völlig harmlosen Weg: Ihre eigenen früheren Entwürfe, bei einer anderen Aufgabenstellung gespeichert, stimmen mit der Endfassung fast Wort für Wort überein. Wie das passiert — und wann nicht — haben wir in ob mein früherer Entwurf mit meiner erneuten Einreichung übereinstimmt nachgezeichnet. Die beiden Berichte sind getrennte Analysen, die in alle vier Richtungen auseinandergehen können; darum geht es in KI-Bericht gegen Ähnlichkeitsbericht.

Eine 100 auf der Ähnlichkeitsseite und eine 100 auf der KI-Seite sind verschiedene Befunde mit verschiedenen Ursachen und verschiedenen Antworten. Einen ganzen Abend an der falschen Zahl zu arbeiten, ist der häufigste Weg, wie diese Sache schiefgeht.

Turnitins veröffentlichte Beschreibung der Berechnung besteht aus drei Schritten: Sätze werden herausgezogen und zu überlappenden Segmenten gruppiert, jedes Segment erhält eine Wahrscheinlichkeit zwischen 0 und 1, und jeder qualifizierende Satz erbt den Wert jedes Segments, in dem er liegt. Weil die Segmente überlappen, trägt ein Satz in der Nähe einer Grenze mehr als einen Wert, und diese Werte werden zusammengeführt. Aus diesen zusammengeführten Satzwerten wird der Dokumentwert gebildet. Genau das Mitteln ist der Grund, warum ein Dokument mit 43 zurückkommen kann statt mit einem der beiden Endwerte.

Nehmen Sie das nun weg. In den FAQ von Turnitin steht, was passiert, wenn es nichts gibt, worüber gemittelt werden kann:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (In kürzeren Dokumenten mit nur wenigen hundert Wörtern wird die Vorhersage meist „alles oder nichts" lauten, weil wir auf einem einzigen Segment ohne die Möglichkeit zur Überlappung vorhersagen. Das bedeutet, dass ein Text, der eine Mischung aus KI-generiertem und eigenem Inhalt ist, als vollständig KI-generiert markiert werden kann.)

Lesen Sie das als Aussage über die Auflösung des Verfahrens, nicht über seine Zuverlässigkeit. In einem langen Dokument würde eine 100 bedeuten, dass eine große Zahl getrennter Vorhersagen alle auf derselben Seite gelandet ist. In einem Dokument von wenigen hundert Wörtern kann sie eine einzige Vorhersage bedeuten, die die Oberfläche anschließend als Prozentwert darstellt. Beides wird identisch angezeigt und ist nicht dieselbe Art von Beweismaterial — und der zweite Satz jenes Zitats sagt ausdrücklich, dass es gemischte Inhalte sind, die dabei mitgerissen werden.

Darunter liegt eine Untergrenze. Eine Einreichung muss mindestens 300 Wörter Prosa im Langform-Format enthalten, bevor überhaupt ein KI-Bericht erzeugt wird. Die kürzeste Datei, die eine Zahl bekommen kann, ist also zugleich die, deren Zahl auf den wenigsten unabhängigen Beobachtungen ruht, und der Bereich direkt über der Untergrenze ist die Zone, in der sich diese beiden Tatsachen überlagern. Eine Reflexionsarbeit über 900 Wörter, die kurze Ausarbeitung zu einer Aufgabensammlung, ein Abstract, das auf Länge gebracht wurde: Sie alle liegen in dem Bereich, den Turnitin beschreibt. Was am anderen Ende der Spanne geschieht, wenn eine Abschlussarbeit über das hinausgeht, was ein einzelner Bericht abdeckt, haben wir in kann Turnitin eine ganze Abschlussarbeit prüfen durchgesprochen.

Der Prozentwert wird nicht über Ihr Dokument berechnet. Er wird über das berechnet, was Turnitin qualifizierenden Text nennt, und die Definition ist eng: „This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosasätze; das heißt, wir analysieren ausschließlich Textblöcke, die in standardsprachlichen vollständigen Sätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte (kurze Strukturen, die keine Sätze sind) oder andere Nicht-Satz-Strukturen.) Der Satz danach ist der, an den Sie sich halten sollten: „This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Einige Ausschlüsse werden gesondert genannt. In Turnitins Versionshinweisen ist festgehalten, dass ein Fehler behoben wurde, der KI-Schreiben in Literaturverzeichnissen markierte, und dass „Bibliographies are now excluded when processing the AI writing report" (Literaturverzeichnisse werden bei der Verarbeitung des KI-Schreibberichts nun ausgeschlossen); an anderer Stelle heißt es: „We are now able to process long-form prose text in tables." (Wir können nun langen Prosatext in Tabellen verarbeiten.) Beide Einträge enden auf dieselbe Weise, mit dem Hinweis, nicht anzunehmen, dass die Änderung für das gilt, was Sie bereits eingereicht haben: erneut einreichen, damit neu verarbeitet wird. Ein Literaturverzeichnis liegt also außerhalb der Berechnung, und Absätze innerhalb einer Tabelle liegen darin — was beides nicht der Intuition entspricht, die die meisten Menschen dazu haben.

Schicken Sie eine reale Datei durch dieses Verfahren. Ein Laborbericht von 5.000 Wörtern mit einer Methodentabelle, drei Aufzählungslisten zum Protokoll, einem Anhang und 60 Literaturangaben enthält womöglich 2.000 Wörter, die qualifizieren. Eine 100 in diesem Bericht ist eine Aussage über diese 2.000 Wörter. Sie ist keine Aussage über die anderen 3.000, die nie bewertet wurden und die sich auf Grundlage der Zahl weder verteidigen noch angreifen lassen.

Das ist auch der Grund, warum eine 100 neben Seiten bestehen kann, die überhaupt keine Markierung tragen. Turnitin sagt, ein Dokument mit mehreren verschiedenen Textarten „would result in a disparity between the percentage and the highlights" (würde zu einer Abweichung zwischen dem Prozentwert und den Markierungen führen). Am oberen Ende der Spanne sieht diese Abweichung aus wie ein Widerspruch, und sie ist erwartetes Verhalten.

Markierte Zeilen zu zählen und gegen den Prozentwert zu halten, wird die Sache nicht auflösen, weil beides über Verschiedenes berechnet wird. Wie man einen Turnitin-Bericht zu KI-Schreiben liest arbeitet aus demselben Grund die übrigen Zustände des Berichts durch.

Besteht die Datei aus 8.000 Wörtern fortlaufender Prosa, fällt die Erklärung mit dem einzelnen Segment weg. Viele getrennte Vorhersagen sind dann tatsächlich auf derselben Seite gelandet, und die Frage lautet, was ein gesamtes Dokument für das Modell durchgehend gleich aussehen lässt. Turnitin veröffentlicht eine teilweise Antwort, und zwar in Form der Eigenschaften, die nach eigener Aussage in den eigenen Fehlalarmen auftauchen:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Gelegentlich können falsch positive Ergebnisse — also das irrtümliche Markieren von menschlich verfasstem Text als KI-generiert — Inhalte ohne große strukturelle Abwechslung betreffen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln. Zeigt unser Indikator bei einem solchen Text einen höheren Anteil an KI-Schreiben an, raten wir Ihnen, das bei der Betrachtung des angezeigten Prozentsatzes zu berücksichtigen.)

Alle drei Eigenschaften sind Eigenschaften eines ganzen Dokuments und nicht eines einzelnen Satzes. Das ist unsere Lesart und keine Behauptung von Turnitin, aber es ist der Teil, der zur Form der Frage passt: Eine Arbeit, die nach einer vorgeschriebenen Abschnittsfolge geschrieben ist, in einer Disziplin mit feststehender Art, einen Methodenabsatz zu formulieren, und die ihre eigenen Zielsetzungen im Abstract, dann in der Einleitung und dann in der Diskussion erneut ausspricht, hat in jedem Segment in etwa denselben Charakter. Es gibt keine Passage, die sich stark genug von ihren Nachbarn unterscheidet, um den Gesamtwert nach unten zu ziehen. Gleichförmigkeit ist kein Schreibfehler, und in mehreren Textsorten ist sie die Anforderung — genau deshalb lässt sich das Ergebnis schwer anfechten, indem man auf einen einzelnen Absatz zeigt.

Der zweite Satz jenes Zitats ist eine Anweisung des Anbieters an alle, die den Wert ablesen, und kein Argument, das Sie sich zurechtlegen können. Was Entscheidungen tatsächlich bewegt hat, ist ein anderes Thema; wir haben es anhand veröffentlichter Fallberichte in markiert, obwohl Sie es selbst geschrieben haben aufgeschrieben. Wenn eine Überarbeitung angebracht und erlaubt ist, sind die Eigenschaften in jener Liste zugleich das, was einer Spezifikation für die Umsetzung von Hand am nächsten kommt; das ist der Ansatz in wie man KI-Text ohne ein Werkzeug menschlicher macht.

Eines sollten Sie wissen, bevor Sie ein Argument darauf stützen, die Zahl sei übertrieben: Die veröffentlichte Justierung läuft in die andere Richtung. Turnitin sagt, dass „In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document" (Um diese niedrige Fehlalarmrate von 1 % zu halten, besteht die Möglichkeit, dass wir in einem Dokument KI-geschriebenen Text übersehen), und gibt die Richtung des Fehlers an: „if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Wenn wir feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug geschrieben wurden, könnte es bis zu 65 % KI-Schreiben enthalten.) Was sonst auch im Spiel sein mag: Die Annahme, das Werkzeug sei von sich aus darauf angelegt, zu viel zu melden, entspricht nicht der Konstruktion, die der Anbieter beschreibt.

Das macht eine 100 noch nicht zu einem Befund. Turnitin erklärt in drei getrennten Hilfeseiten, dass sein Modell menschlich verfassten, KI-generierten und KI-umformulierten Text falsch einordnen kann und nicht die alleinige Grundlage für eine nachteilige Maßnahme gegen eine studierende Person sein sollte. Und die Genauigkeitsbehauptung, die Menschen einander entgegenhalten, trägt eine Einschränkung, die unterwegs verloren geht; die haben wir in was eine Fehlalarmrate von 1 % bedeutet auseinandergenommen. Es gibt außerdem keinen veröffentlichten Schwellenwert, ab dem eine Zahl zu Fehlverhalten wird, in keiner der beiden Richtungen: Ist 20 % KI zu hoch? behandelt, warum die 20 in der Oberfläche eine Anzeigeregel ist und keine Regel über Sie.

Wenn Sie es selbst geschrieben haben, ist Umschreiben der falsche erste Schritt. Er verändert den Gegenstand, um den es geht, und beantwortet eine Frage, die niemand gestellt hat.

Man sollte es offen sagen, auch wenn es gegen uns spricht: Bei 100 hat das, wofür das Werkzeug HumanPen normalerweise gut ist, nichts, woran es ansetzen könnte. Sie laden das Dokument zusammen mit dem Bericht von Turnitin oder iThenticate hoch, und nur die im Bericht zugeordneten Passagen werden umgeschrieben, während der Rest wortgleich erhalten bleibt; berechnet werden ausschließlich die tatsächlich umgeschriebenen Wörter. Bei 30 % ist das eine echte Ersparnis, weil zwei Drittel der Datei weder angefasst noch berechnet werden. Bei 100 % hat der Bericht alles markiert, der Umfang ist also das gesamte Dokument und die Kosten ein vollständiger Durchlauf. Wer gehofft hatte, der Bericht würde die Arbeit eingrenzen: 100 ist die eine Zahl, bei der er das nicht tut.

Markiert ein neuer Bericht weiterhin Passagen, können Passagen, die die Voraussetzungen erfüllen, kostenlos erneut durchlaufen werden.

Nichts davon ist ein Versprechen über ein Detektionsergebnis, und wir werden keines abgeben. Kein Werkzeug kann Ihnen sagen, was eine künftige Modellversion zu einem Dokument ausgibt, das sie noch nicht gesehen hat, und wer eine garantierte Punktzahl anbietet, beschreibt etwas, das er nicht kontrollieren kann. Es gibt außerdem Fälle, in denen das Werkzeug schlicht das falsche Instrument ist: Wenn Ihre Position lautet, dass die Arbeit Ihre eigene ist, dann ist die Zahl nicht der Gegenstand, der in Ordnung gebracht werden müsste.

Bedeutet 100 %, dass jeder Satz von mir markiert wurde? Nein. Der Prozentwert wird über den qualifizierenden Text berechnet, der Listen, Aufzählungspunkte und andere Strukturen ausschließt, die keine Sätze sind, und Turnitin sagt, der Wert sei nicht notwendigerweise der Prozentsatz der gesamten Einreichung. Eine Datei mit umfangreichen Tabellen, Listen und einem Literaturteil kann 100 % anzeigen, während große Teile von ihr nie bewertet wurden.

Meine Arbeit hat nur 600 Wörter. Ist das die Erklärung? Es ist das Erste, was Sie prüfen sollten. Turnitin selbst stellt es so dar: Bei Dokumenten von wenigen hundert Wörtern ist die Vorhersage meist „all or nothing" (alles oder nichts), weil sie auf einem einzigen Segment ohne die Möglichkeit zur Überlappung arbeitet — und deshalb kann eine Mischung aus KI-generiertem und eigenem Inhalt als vollständig KI-generiert markiert werden.

Ich habe die Zahl in meiner eigenen Turnitin-Ansicht gesehen. Ist das der KI-Wert? Höchstwahrscheinlich nicht. Turnitin sagt, nur Lehrkräfte und Administratoren könnten den KI-Indikator sehen und er sei für Studierende nicht sichtbar; Lehrkräfte können den KI-Bericht jedoch als PDF herunterladen und weitergeben. Ein Prozentwert, den Sie selbst aufgerufen haben, ist der Ähnlichkeitswert, und der hat eigene ganz gewöhnliche Wege zu 100.

Kann ein Werkzeug garantieren, dass der nächste Bericht niedriger ausfällt? Nein — und behandeln Sie eine solche Behauptung als Warnzeichen. Die Versionen der Detektoren wechseln, und niemand außerhalb des Anbieters kann sich auf die Ausgabe einer Modellversion festlegen, die noch nicht gelaufen ist. Was ein Überarbeitungsdienst festlegen kann, sind Umfang und Kosten, nicht eine Punktzahl.