Prüft Turnitin eine ganze Abschlussarbeit?

Turnitin erzeugt keinen KI-Schreibbericht für eine Einreichung mit mehr als 30.000 Wörtern und auch nicht für eine mit weniger als 300 Wörtern Fließtext. Zwei seiner eigenen Hilfeseiten nennen dieselben Grenzen. Außerhalb dieses Bereichs gibt es keinen Prozentsatz: Der Indikator zeigt einen grauen Doppelstrich, und das heißt, dass die Einreichung nicht verarbeitet werden konnte – nicht, dass sie sauber zurückkam.

Eine vollständige Abschlussarbeit liegt normalerweise deutlich über der Grenze. Wenn Sie also über „Ihren KI-Wert für die Arbeit" nachdenken, ist die erste Frage, welche Datei ihn erzeugt hat.

Die erste ist eine kurze Seite mit dem Titel Dateianforderungen für einen AI Writing Report. Die ganze Seite ist etwa 700 Zeichen lang. Sie beginnt mit „In order for a submission to generate an AI writing report and percentage, the submission needs to meet the following requirements" (Damit eine Einreichung einen KI-Schreibbericht und einen Prozentsatz erzeugt, muss sie die folgenden Anforderungen erfüllen), danach werden sie aufgelistet. Drei davon entscheiden, ob ein langes Dokument überhaupt bewertet wird:

• Die Dateigröße muss unter 100 MB liegen
• Die Datei muss mindestens 300 Wörter Fließtext in einem langen Schreibformat enthalten
• Die Datei darf 30.000 Wörter nicht überschreiten

Der Rest der Liste behandelt unterstützte Sprachen und akzeptierte Dateitypen.

Die zweite Seite sind die FAQ zur Erkennung von KI-Texten, die dieselben Anforderungen innerhalb ihrer Erklärung wiederholt, was die Indikatoren im Bericht bedeuten. Gleiche Zahlen, gleiche Reihenfolge.

Dass es zweimal auf der eigenen Website des Anbieters steht, wiegt mehr, als es klingt, denn das meiste, was über die Grenzen von Turnitin kursiert, ist ein Blog, der vom anderen abschreibt.

In den FAQ steht, was der Indikator anzeigen kann. Ein blauer Indikator mit einer Zahl zwischen 0 und 100 bedeutet, dass die Einreichung verarbeitet wurde. Ein Sternchen bedeutet, dass KI im Bereich von 1 % bis 19 % erkannt wurde; Turnitin zeigt das ohne Zahl und ohne Hervorhebungen an, um Fehlalarme zu vermeiden. Und dann:

„Gray with no percentage displayed (- -): The AI writing detection indicator is unable to process this submission." (Grau ohne angezeigten Prozentsatz (- -): Der Indikator für die Erkennung von KI-Texten kann diese Einreichung nicht verarbeiten.)

Die Seite nennt die Gründe. Einer ist, dass die Einreichung vor der Veröffentlichung der KI-Texterkennung erfolgt ist; das lässt sich nur durch erneutes Einreichen beheben. Der andere: Die Datei erfüllt die oben genannten Anforderungen nicht.

Ein eigener Fehlerstatus, dargestellt durch ein Ausrufezeichen, bedeutet, dass Turnitin die Einreichung nicht verarbeiten konnte, und bittet Sie, es erneut zu versuchen oder den Support zu kontaktieren.

Der graue Strich bei einer Arbeit mit 60.000 Wörtern ist also das zu erwartende Ergebnis, und er sagt nichts über Ihr Schreiben. Es lohnt sich zu wissen, welchen der drei Zustände Sie vor sich haben, bevor Sie irgendeine Schlussfolgerung ziehen – besonders dann, wenn Sie nur einen Screenshot erhalten haben.

In der Praxis wird eine lange Arbeit in Teilen eingereicht: ein Kapitel bei der Betreuungsperson, ein Abschnitt für das Fortschrittsgespräch, die endgültige Datei im Repositorium. Jedes davon ist eine eigene Vorhersage, und genau hier wird die Rechnung unübersichtlich.

Turnitin beschreibt das Verfahren so: Die Einreichung wird in überlappende Segmente zerlegt, jedes Segment erhält einen Wert zwischen 0 und 1, jeder infrage kommende Satz erbt den Wert der Segmente, die ihn enthalten, und daraus werden die Werte gepoolt und zur Zahl für das Dokument zusammengefasst. Kapitelwerte sind keine Ausschnitte aus einem Wert für die ganze Arbeit, denn diesen Wert gibt es nicht. Es sind getrennte Durchläufe über unterschiedlich viel Text.

Am unteren Ende des Bereichs verhält es sich noch einmal anders. Turnitin sagt, dass die Vorhersage bei Dokumenten von nur wenigen hundert Wörtern meist „all or nothing" (ganz oder gar nicht) ist, weil es ein einzelnes Segment gibt und keine Überlappung, über die gemittelt werden könnte; und das bedeute, dass gemischter Inhalt in einem kurzen Dokument als vollständig KI-generiert markiert werden kann. Eine 400 Wörter lange Einleitung, die allein eingereicht wird, liegt genau in diesem Bereich. Ein Abstract allein erreicht die Untergrenze von 300 Wörtern Fließtext gar nicht.

Am anderen Ende sind die FAQ bei langen Dokumenten offen: In einem längeren Dokument, das authentisches und KI-generiertes Schreiben mische, heißt es dort, sei es schwierig zu bestimmen, wo das eine ende und das andere beginne; die Ausgabe wird als Einstieg in ein Gespräch mit dem Studierenden beschrieben.

Selbst innerhalb des Bereichs deckt die Zahl weniger ab, als man denkt. Turnitin analysiert, was es als infrage kommenden Text bezeichnet und als Prosa-Sätze definiert: Blöcke in standardsprachlichen, grammatikalischen Sätzen. Listen, Aufzählungspunkte und andere Strukturen ohne Sätze fallen heraus. Die FAQ stellen dann unmissverständlich fest, dass der Prozentsatz nicht notwendigerweise dem Prozentsatz der gesamten Einreichung entspricht und dass Text, der nicht als langformatige Prosa gilt, nicht enthalten ist.

Ihre Definition von langformatiger Prosa nennt das Format direkt: einzelne Sätze in Absätzen, die ein längeres schriftliches Werk bilden, etwa einen Aufsatz, eine Dissertation oder einen Artikel.

Stellen Sie sich nun ein Methodenkapitel vor. Nummerierte Verfahrensschritte, eine Parametertabelle, Gleichungen, Code, Bildunterschriften. Sehr wenig davon sind Absätze mit Sätzen. Der Nenner für den Prozentsatz schrumpft auf die diskussionsartigen Teile Ihres Textes – und genau daraus kommt der Wert auch. Wie sich ein KI-Schreibbericht von Turnitin lesen lässt arbeitet die Lücke zwischen Zahl und Hervorhebung auf.

Turnitin veröffentlicht nicht, welcher Zähler verwendet wird – und das ist keine Haarspalterei, denn zwei Werkzeuge, die dieselbe Datei zählen, kommen regelmäßig zu unterschiedlichen Ergebnissen.

Die übliche Ursache sind Gedankenstriche. Word behandelt einen Strich zwischen zwei Wörtern in manchen Formen als Wortgrenze und in anderen nicht, was auf einem Blog zu juristischem Schreiben der University of Texas at Austin anschaulich gezeigt wird, und zwar an einer Seitenangabe; und wir haben selbst erlebt, dass unsere eigenen Zähler bei Dokumenten voller Gedankenstriche von Word abweichen.

Der Spielraum ist klein. Er zählt nur an einer Stelle, und das ist diese: Wenn Word 29.800 sagt und das, was auf der anderen Seite zählt, etwas Größeres, dann entscheidet eine Handvoll Gedankenstriche darüber, ob ein Bericht entsteht oder ein grauer Strich. Nahe der Obergrenze teilen Sie die Datei lieber, statt es hinterher herauszufinden.

1. Fragen Sie, welche Datei eingereicht wurde, bevor Sie irgendeinen Wert deuten. Ein Kapitel, eine zusammengebundene Arbeit, ein vom Portal erzeugtes PDF und eine Version ohne Anhang sind vier verschiedene Einreichungen.
2. Behandeln Sie einen grauen Strich als „nicht verarbeitet". Melden Sie ihn nicht weiter als sauberes Ergebnis.
3. Addieren Sie keine Kapitelprozentsätze und bilden Sie auch keinen Durchschnitt. Es sind getrennte Vorhersagen über unterschiedliche Nenner.
4. Rechnen Sie damit, dass sich kurze Abschnitte eigenartig verhalten. Turnitins eigene Erklärung der Alles-oder-nichts-Bewertung bei kurzen Texten ist der Grund, nicht Ihr Schreiben.
5. Behalten Sie, wofür der Anbieter die Zahl bestimmt hat. Turnitin erklärt auf mehreren seiner eigenen Seiten, dass das Modell falsch liegen kann und nicht die alleinige Grundlage für eine nachteilige Maßnahme gegen einen Studierenden sein darf; an anderer Stelle nennt es den Wert einen einzelnen Datenpunkt statt einer endgültigen Antwort. Das ist ein Satz, den Sie mit ins Betreuungsgespräch nehmen können.

Wenn Sie in diesem Gespräch schon mittendrin sind und das Ganze selbst geschrieben haben: Markiert, aber Sie haben es selbst geschrieben behandelt, welche Belege sich zu sammeln lohnt.

Zwei Dinge werden auf Kapitellänge teuer: was Sie hinterher noch einmal lesen müssen und was Sie für das Umschreiben bezahlt haben. Beides entscheidet sich an derselben Einstellung, nämlich wie viel der Datei im Umfang war. Drei markierte Absätze und ein ganzes Kapitel sind sehr unterschiedliche Mengen an Korrekturarbeit.

Das Tool HumanPen funktioniert genau umgekehrt. Sie importieren den Turnitin- oder iThenticate-Bericht zu diesem Kapitel, und die markierten Stellen werden zum Umfang: Nur dieser Text wird umgeschrieben, alles andere bleibt unangetastet, und die Abrechnung zählt die tatsächlich umgeschriebenen Wörter, nicht das Dokument, das Sie hochgeladen haben. Ein Absatz ist die kleinste Einheit, die die Engine anfasst; eine Auswahl, die nur einen Teil davon abdeckt, wird auf den ganzen Absatz erweitert und Ihnen vor Beginn des Vorgangs angezeigt. Beim Hochladen gibt es keine Wortobergrenze pro Anfrage, ein Kapitel geht also als eine Datei hinein. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.

Nichts davon ist eine Vorhersage über Ihren nächsten Bericht. Es ist eine Aussage darüber, was angefasst wird und was berechnet wird.

Kann Turnitin ein Dokument mit mehr als 30.000 Wörtern prüfen? Für KI-Texte nicht. Sowohl die Seite mit den Dateianforderungen als auch die FAQ von Turnitin stellen fest, dass eine Einreichung 30.000 Wörter nicht überschreiten darf, damit ein KI-Schreibbericht und ein Prozentsatz erzeugt werden. Die Ähnlichkeitsprüfung ist ein eigenes System mit eigenem Verhalten.

Meine Arbeit kam ohne KI-Prozentsatz zurück. Ist das gut? Höchstwahrscheinlich wurde gar kein Bericht erzeugt. Ein grauer Doppelstrich bedeutet, dass der Indikator die Einreichung nicht verarbeiten konnte, und die Überschreitung der Dateianforderungen ist einer der Gründe, die Turnitin dafür nennt.

Warum weicht der Wert meines Kapitels von der Datei ab, die meine Betreuungsperson eingereicht hat? Es sind verschiedene Durchläufe. Die Werte werden über überlappende Segmente dessen berechnet, was eingereicht wurde, und der Prozentsatz deckt nur infrage kommende Prosa ab; zwei Dateien mit denselben Wörtern können also unterschiedliche Nenner und unterschiedliche Zahlen erzeugen.

Gibt es eine Mindestlänge? Ja. Die Datei braucht mindestens 300 Wörter Fließtext in einem langen Schreibformat. Turnitin sagt außerdem, dass Vorhersagen bei Dokumenten von nur wenigen hundert Wörtern zum Alles-oder-Nichts neigen, weil es ein einzelnes Segment ohne Überlappung gibt, über die gemittelt werden könnte.