Ich habe meine Arbeit überarbeitet – und der KI-Wert ist gestiegen

Ein zweiter Bericht, der höher ausfällt als der erste, misst nicht, wie gut Sie überarbeitet haben. Drei veröffentlichte Bestandteile der Berechnung des Turnitin-Prozentsatzes können ihn jeweils für sich nach oben bewegen. Sätze werden innerhalb überlappender Segmente bewertet: Eine Änderung verändert, womit ihre Nachbarn gruppiert werden, und die Wirkung hat keinen festen Radius. Der Prozentsatz wird nur über die qualifizierende Prosa berechnet; eine Überarbeitung, die Prosa aus dem Dokument entfernt, verkleinert also den Nenner, während der markierte Text unverändert bleibt. Und die Markierungen, die Sie zählen können, und die Zahl auf dem Deckblatt sind zwei verschiedene Größen, die sich im selben Bericht durchaus in entgegengesetzte Richtungen bewegen dürfen.

Nichts davon sagt, dass die Überarbeitung falsch war oder dass der Text schlechter geworden ist. Es sagt, dass die ausgewiesene Größe sich nicht so verhält, wie das Wort „Prozentzahl" Sie zu unterstellen einlädt. Unten folgt jeder Mechanismus direkt neben dem Dokument, aus dem er stammt, dazu ein vierter, der nur dann zuschlägt, wenn die Überarbeitung das Dokument auch deutlich kürzer gemacht hat – und schließlich, was ein Anstieg aussagt und was nicht.

Fangen wir damit an, wie ein Satz zu einer Bewertung kommt – die Antwort lautet: Er bekommt keine eigene. Die FAQ von Turnitin beschreibt den Ablauf in einem einzigen Absatz:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit dafür angibt, dass der Text vermutlich von einem Menschen oder von KI stammt. Jeder qualifizierende Satz innerhalb dieser Segmente erbt die Bewertung des Segments. Da sich Segmente überlappen, können manche Sätze mehrere Bewertungen haben, die dann zu einer einzigen Bewertung zusammengeführt werden. Diese Satzbewertungen werden weiter aggregiert und verwendet, um den gesamten KI-Schreibwert des Dokuments zu berechnen.)

Zwei Wörter darin tragen das ganze Problem: „overlapping" (überlappend) und „pooled" (zusammengeführt). Ein Satz steckt in mehr als einem Segment, und jedes Segment wird als Block klassifiziert. Jede Bewertung, die ein Satz trägt, ist also zu einem Teil von den Sätzen neben ihm erzeugt worden.

Schreiben Sie einen Satz um, dann haben Sie einen Eingabewert für die Bewertung seiner Nachbarn verändert – ob Sie diese angefasst haben oder nicht. Ein Absatz, den Sie bewusst unangetastet gelassen haben, kann markiert zurückkommen, weil das Segment, das ihn enthält, inzwischen anderen Text enthält. Auch das Gegenteil kommt vor; nur schreibt darüber niemand eine Anfrage.

Auch die Segmentgrenzen selbst sind in der Darstellung des Anbieters ein bewegliches Teil. In einer Versionsmeldung vom 24. Mai 2023, die Arbeiten zur Verringerung falsch positiver Ergebnisse am Anfang und am Ende von Dokumenten beschreibt, ergänzte Turnitin:

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Wir haben außerdem daran gearbeitet, die Erkennung unserer Segmentgrenzen präziser zu machen, was in seltenen Fällen dazu führen kann, dass sich die Grenzen im Vergleich zu einer früheren Version verschieben.)

Das war eine Verbesserung aus dem Jahr 2023 und keine Beschreibung eines aktuellen Fehlers, und es ist aus einem einzigen engen Grund lesenswert: Segmentgrenzen gehören zum Verfahren, und Turnitin hat dokumentiert, dass es sie verändert. Die FAQ macht außerdem ausdrücklich klar, dass Pooling und Aggregierung stattfinden. Was sie nicht veröffentlicht, ist die Pooling-Regel, eine etwaige Gewichtung oder der Aggregationsalgorithmus. Es lässt sich also nicht vorherbestimmen, welche Nachbarn eine bestimmte Änderung bewegen wird – oder in welche Richtung.

Der zweite Mechanismus hat mit der Klassifizierung überhaupt nichts zu tun. Er ist reine Arithmetik, und er sorgt für die größten Überraschungen.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission." (Dieser qualifizierende Text umfasst nur Prosasätze; das heißt, wir analysieren ausschließlich Textblöcke, die in standardsprachlichen grammatikalischen Sätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte (kurze Strukturen ohne Satzform) oder sonstige Nicht-Satz-Strukturen. Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Setzen wir Zahlen daran. Nehmen wir an, die erste Fassung enthielt 6.000 Wörter qualifizierende Prosa, von denen 1.800 markiert zurückkamen: 30 %. Für die zweite Fassung schreiben Sie 300 markierte Wörter um, und sie werden nicht mehr markiert; es bleiben 1.500. Im selben Arbeitsgang machen Sie – weil eine Betreuerin die Diskussion für zu schwerfällig hielt – daraus noch 2.400 Wörter in Form einer Aufzählung und einer Zahlentabelle. Qualifizierende Prosa sind jetzt 3.600 Wörter. 1.500 von 3.600 sind knapp unter 42 %. Der Wert ist in einer Überarbeitung um zwölf Punkte gestiegen, in der weniger Text markiert war als zuvor und nirgends etwas Neues markiert wurde.

Beide Zeilen aus dem August 2023 schließen auf dieselbe Weise: Sie fordern Sie auf, eine ältere Arbeit erneut einzureichen, bevor eine der beiden Änderungen darauf angewendet wird. Was sie also beschreiben, ist die Art, wie ein Bericht heute entsteht, und nicht, wie ein alter entstanden ist. Und nichts in dieser Tabelle ist ein Ratschlag. Zwei der Zeilen beschreiben, wie man ein Dokument schwerer lesbar macht – und wer eine Diskussion als Aufzählungspunkte bekommt, merkt das. Der Grund, die Liste zu kennen, ist die Diagnose: Trifft eine dieser Zeilen auf Ihre Überarbeitung zu, hat die Bewegung eine Erklärung, die nichts darüber aussagt, wie Ihre Sätze wirken. Der Fall des Literaturverzeichnisses hat seine eigene Verwicklung, die wir in warum Turnitin meine Literaturangaben markiert hat auseinandergenommen haben.

Die meisten prüfen zuerst die Markierungen, denn eine kürzere Liste davon fühlt sich am ehesten nach Fortschritt an. Turnitin sagt unmissverständlich, dass beides auseinandergehen kann:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet, dass ein Dokument mit mehreren verschiedenen Textarten zu einer Abweichung zwischen dem Prozentsatz und den Markierungen führt.)

Wenn Sie also sagen, Sie hätten weniger markierte Stellen als beim letzten Mal und die Zahl sei trotzdem gestiegen, dann ist das kein Widerspruch, der aufgelöst werden müsste. Es sind zwei Größen mit unterschiedlichen Nennern, die als eine gelesen werden. Und unter der Schwelle von 20 % gibt es nichts zu zählen: Turnitin hält sowohl den Wert als auch die Markierungen bei Ergebnissen im Bereich von 1 % bis 19 % zurück. Ein Bericht ohne Markierungen ist also kein Bericht, in dem nichts markiert wurde. Die einzelnen Teile des Berichts haben wir in wie sich ein Turnitin-KI-Schreibbericht lesen lässt einzeln durchgegangen.

War die Überarbeitung zugleich eine Kürzung, gibt es einen vierten Mechanismus, und der betrifft vor allem kurze Einreichungen:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern ist die Vorhersage überwiegend „alles oder nichts", weil wir auf einem einzigen Segment ohne die Möglichkeit zur Überlappung vorhersagen. Das bedeutet, dass ein Text, der eine Mischung aus KI-erzeugtem und eigenem Inhalt ist, vollständig als KI-erzeugt markiert werden kann.)

Die Überlappung, die ein langes Dokument glättet, steht bei einem kurzen nicht zur Verfügung – und die Fehlerart, die Turnitin beschreibt, wirkt nach oben: gemischter Inhalt, der vollständig als KI markiert wird. Darunter liegt außerdem eine Untergrenze, denn die Dateianforderungen verlangen mindestens 300 Wörter Prosa, bevor überhaupt ein Bericht erstellt wird; das haben wir in kann Turnitin eine ganze Abschlussarbeit prüfen behandelt. Zwischen beidem gilt: Eine Überarbeitung, die den Text gekürzt hat, und eine, die seine Prosa verändert hat, sind zwei gleichzeitig durchgeführte Versuche – und der Bericht liefert für beide eine einzige Zahl.

Im Bericht steht nirgends, was Sie geändert haben. Es gibt kein Feld, das die Bewegung einer bestimmten Änderung zuschreibt. Der Anstieg ist also eine Beobachtung an zwei Dateien und kein Urteil über die Arbeit dazwischen.

• Er belegt nicht, dass Ihre Änderungen den Text KI-ähnlicher gemacht haben. Nach den oben beschriebenen Mechanismen kann die Zahl steigen, während jeder Satz, den Sie umgeschrieben haben, sauber zurückkommt.
• Er belegt nicht, dass die erste Zahl die vertrauenswürdige war. Die beiden Berichte sind getrennte Ausgaben, und keiner von beiden erklärt, warum er vom anderen abweicht.
• Er belegt nicht, dass ein weiterer Umschreibdurchgang der nächste Schritt ist. Hat sich der Nenner bewegt, verändert ein weiterer Durchgang über die Prosa nur den Zähler.

Auf der FAQ-Seite von Turnitin steht außerdem ein Satz, der in dieses Gespräch gehört – und der meistens ohne seine zweite Hälfte zitiert wird:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Manchmal können falsch positive Ergebnisse (die fälschliche Markierung menschlich verfassten Textes als KI-erzeugt) Inhalte ohne große strukturelle Abwechslung betreffen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln. Wenn unser Indikator bei einem solchen Text einen höheren Anteil an KI-Schreibweise anzeigt, raten wir Ihnen, dies zu berücksichtigen, wenn Sie den ausgewiesenen Prozentsatz betrachten.)

Liest man ihn bis zum Ende, ist es keine gegen Sie gerichtete Beschuldigung. Der Anbieter benennt Arten menschlichen Schreibens, die das eigene Modell fälschlich markieren kann, und sagt dann jedem, der den Bericht liest, er solle diese Möglichkeit berücksichtigen, wenn er die ausgewiesene Prozentzahl betrachtet. Wenn eine Betreuerin auf eine gestiegene Zahl schaut, steht diese Warnung auf derselben Seite wie die Zahl. Die Liste zum Umschreiben von Hand, die auf der ersten Hälfte aufbaut, finden Sie in wie man KI-Text ohne ein Tool menschlicher macht, und die Methode, zwei Berichte Abschnitt für Abschnitt zu vergleichen statt Summe gegen Summe, in nach einer Turnitin-Neuprüfung weiterhin markiert.

Alles oben Gesagte ist ein Argument über den Umfang. Wenn die Änderung eines Satzes verändert, womit seine Nachbarn gruppiert werden, dann ist das kleinste sinnvoll zu ändernde Element größer als ein Satz – und die Stellen, mit denen Sie zufrieden sind, sollten exakt so stehen bleiben.

Genau diesen Umfang beschreibt das Tool HumanPen auf seiner öffentlichen Berichtsseite. Sie laden die DOCX-Datei mit einem Turnitin- oder iThenticate-KI-Bericht hoch, und die markierten Stellen bestimmen, was umgeschrieben wird. Alles andere bleibt eingefroren. Auf der öffentlichen Humanize-Seite steht außerdem, dass die Abrechnung auf den tatsächlich umgeschriebenen Wörtern beruht und nicht auf der Größe der Datei, die Sie gesendet haben.

Wenn ein späterer Bericht noch Stellen markiert, beschreibt die öffentliche FAQ einen kostenlosen zweiten Durchgang über die weiterhin markierten Stellen. Diese Serviceregel ist keine Prognose. Sie sagt nicht, was der nächste Bericht ausweisen wird, und Turnitin hat keine Zuordnung zwischen einer Änderung und einer Bewegung des Wertes veröffentlicht.

Kann ein Turnitin-KI-Wert nach einer Überarbeitung wirklich steigen? Ja, und das ist nichts Ungewöhnliches. Der Prozentsatz wird nicht aus Urteilen über einzelne Sätze zusammengesetzt, er hat also keinen Grund, der Zahl der von Ihnen korrigierten Sätze zu folgen. Überlappende Segmente, eine veränderte Menge qualifizierender Prosa und ein kürzeres Dokument bewegen ihn jeweils für sich.

Bedeutet eine höhere Zahl, dass meine Änderungen alles schlimmer gemacht haben? Für sich genommen nicht. Der Bericht enthält keine Aufzeichnung dessen, was Sie geändert haben, und keine Zuordnung der Bewegung zu irgendeiner Änderung. Ein Anstieg ist vereinbar mit Änderungen, die gewirkt haben, mit Änderungen, die nichts bewirkt haben, und mit einem Dokument, dessen Struktur sich unter der Berechnung verändert hat.

Ich habe weniger markierte Sätze, aber einen höheren Prozentsatz. Welche Angabe stimmt? Beide, denn es sind keine zwei Ansichten derselben Größe. Turnitin sagt, dass ein Dokument, das verschiedene Textarten mischt, eine Abweichung zwischen Prozentsatz und Markierungen zeigt, weil der Prozentsatz über die qualifizierende Prosa berechnet wird, während die Markierungen auf der gesamten Datei liegen.

Ich habe viel Text gestrichen, um eine Wortgrenze einzuhalten, und der Wert ist gesprungen. Warum? Höchstwahrscheinlich der Nenner. Der Prozentsatz läuft über die qualifizierende Prosa; entfernen Sie unmarkierte Prosa, steigt der markierte Anteil, ohne dass sich am markierten Text etwas ändert. Umfasst das Ergebnis jetzt nur noch ein paar hundert Wörter, sagt Turnitin außerdem, dass kurze Dokumente überwiegend als ganz oder gar nicht eingestuft werden.

Soll ich die ganze Arbeit einfach neu schreiben? Das ist die Reaktion, zu der die Zahl einlädt, und selten die, die die Belege stützen. Vergleichen Sie, wo die Markierungen in beiden Berichten liegen, bevor Sie entscheiden, wie viel Sie anfassen – und frieren Sie alles ein, dessen genauer Wortlaut Bedeutung trägt, etwa Zahlen, Zitate, Definitionen und Methodenschritte.