Similarity runter, KI-Score rauf: Warum Paraphrasieren das auslösen kann

Der Similarity-Score und der Score der KI-Schreiberkennung sind zwei getrennte Messungen, die sich nicht gegenseitig beeinflussen. Turnitin sagt das ausdrücklich: „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Score und der Prozentsatz der KI-Schreiberkennung sind vollständig unabhängig voneinander und beeinflussen sich nicht gegenseitig.)

Wenn Sie paraphrasieren, um den Similarity-Prozentsatz zu drücken, gibt es keinen Mechanismus, der den KI-Score automatisch mit nach unten zieht. Die beiden Zahlen können sich in entgegengesetzte Richtungen bewegen – und tun das oft auch. Paraphrasieren verändert die Wörter in Ihrem Dokument und verringert damit die übereinstimmenden Zeichenketten in der Similarity-Datenbank. Genau diese Änderungen können aber auch die Wahrscheinlichkeitsmuster der Wörter so verschieben, dass der KI-Detektor den Text eher markiert. Heraus kommt das, was viele Studierende erleben: Die Similarity sinkt, der KI-Score steigt.

Um zu verstehen, warum das passiert, müssen wir uns ansehen, was jedes System misst. Der Similarity-Bericht vergleicht Ihren eingereichten Text mit einer Datenbank bereits vorhandener Inhalte. Wie Turnitin es erklärt: „The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking." (Der Similarity-Score gibt den Prozentsatz an übereinstimmendem Text an, der im eingereichten Dokument gefunden wurde, wenn es mit der umfassenden Sammlung von Inhalten abgeglichen wird, die Turnitin für die Ähnlichkeitsprüfung bereithält.) Paraphrasieren verringert diese Übereinstimmungen, weil Sie genau die Zeichenketten verändern, nach denen das System sucht.

Der KI-Schreibdetektor macht etwas grundlegend anderes. Er sucht nicht nach übereinstimmendem Text. Er analysiert stattdessen die statistischen Muster Ihrer Wortwahl. So beschreibt Turnitin den Ablauf: „When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Abschnitte übernimmt den Wert des Abschnitts. Da sich die Abschnitte überlappen, kann ein Satz mehrere Werte haben, die dann zu einem einzigen Wert zusammengefasst werden. Diese Satzwerte werden weiter aggregiert und daraus der KI-Schreib-Score des gesamten Dokuments berechnet.)

Das Similarity-System sucht nach Zeichenketten, die es anderswo schon gibt. Das KI-System sucht nach Wahrscheinlichkeitsmustern in der Wortwahl. Paraphrasieren verändert die Zeichenketten – das hilft der Similarity –, aber eben auch die Wahrscheinlichkeitsmuster, was dem KI-Score schaden kann. Das sind zwei verschiedene Ziele, und wer das eine trifft, trifft damit noch lange nicht das andere.

Hier wird die Sache besonders frustrierend. Die Dokumentation von Turnitin führt Paraphrasieren ausdrücklich als Merkmal von Texten auf, die zu False Positives führen können. Der Wortlaut: „Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können False Positives – also menschlich geschriebener Text, der fälschlich als KI-generiert markiert wird – Inhalte ohne große strukturelle Abwechslung betreffen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Ideen zu entwickeln.)

Turnitin lässt darauf diesen Hinweis folgen: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator in einem solchen Text einen höheren Anteil KI-generierten Schreibens anzeigt, raten wir Ihnen, das bei der Betrachtung des angezeigten Prozentsatzes zu berücksichtigen.)

Hier liegt der Kern des Problems. Wer paraphrasiert, um die Similarity zu senken, bleibt mit dem Text meist innerhalb der Ideen, die ohnehin schon auf der Seite stehen. Genau das ist die Art von „paraphrased without developing new ideas"-Text (Text, der umformuliert wurde, ohne neue Ideen zu entwickeln), von der Turnitin sagt, dass sie anfällig für False Positives ist. Sie fügen keine neue Analyse, keine neuen Argumente und keine neuen Belege hinzu. Die Ideen bleiben gleich, die Struktur bleibt oft ähnlich – und der Text entspricht jetzt einem Muster, das der KI-Detektor mit maschinell erzeugten Inhalten verbindet. Die Änderungen, mit denen Sie Similarity-Treffer vermeiden wollten, können einen Text ergeben haben, der für das Erkennungsmodell statistisch eher nach KI-Output aussieht, nicht weniger. Warum Paraphrasieren Ihren Turnitin-KI-Score nach oben treibt betrachtet denselben Mechanismus vom anderen Ende.

Eine häufige Frage ist, ob der KI-Detektor Dinge wie „perplexity" oder „burstiness" misst, Begriffe, die in Diskussionen über KI-Erkennung kursieren; wir haben das separat behandelt in ob Turnitin Perplexity und Burstiness verwendet. Turnitin äußert sich dazu direkt: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht ausdrücklich darauf programmiert, einzelne Signale wie „Burstiness", „Perplexity" oder andere Einzelmetriken zu bewerten, die in öffentlichen Diskussionen gelegentlich erwähnt werden.) Im nächsten Satz heißt es: „Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.)

Das heißt nicht, dass die Wortwahrscheinlichkeit unwichtig wäre. Dieselbe Dokumentation fährt mit einer entscheidenden Klarstellung fort: „Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und kennen die typischen Wortwahrscheinlichkeits-Sequenzen menschlicher Schreibender gut.)

Zusammengenommen sagen diese beiden Aussagen etwas Wichtiges. Das Modell berechnet Perplexity nicht als benannte Metrik, aber es ist auf Wortwahrscheinlichkeitsmuster trainiert. Wenn ein Umschreiben an jeder Stelle auf die nächstliegende Option fällt, wählt es dort womöglich das statistisch vorhersagbarste Wort. War das Original eine ungewöhnliche Wahl und der Ersatz die gängigste, dann wird das Wortwahrscheinlichkeitsmuster vorhersagbarer, nicht weniger. Für einen Klassifikator, der auf Wortwahrscheinlichkeit trainiert ist, können vorhersagbarere Sequenzen eher nach KI-generiertem Text aussehen. Das ist der Mechanismus hinter dem Paradox: Paraphrasieren macht den Text vorhandenen Quellen unähnlicher, aber die konkreten Wortwahlen dabei können ihn statistisch vorhersagbarer machen – und das ist das Gegenteil dessen, was einen KI-Score senkt.

Die praktische Erkenntnis: Similarity senken und KI-Score senken sind zwei verschiedene Ziele. Sie verlangen unterschiedliche Änderungen am Text, und was dem einen hilft, kann dem anderen schaden. Paraphrasieren allein, zumal in einem Durchgang, der innerhalb der schon vorhandenen Ideen bleibt, ist genau die Art von Vorgehen, die die Similarity senkt und dabei den KI-Score womöglich erhöht. Genau diese Lücke ist auch der Punkt, an dem sich die beiden Tool-Kategorien tatsächlich unterscheiden.

Der Similarity-Bericht fragt, ob Ihre Zeichenketten mit vorhandenen Inhalten übereinstimmen. Der KI-Bericht fragt, ob Ihre Wortwahrscheinlichkeitsmuster maschinell erzeugtem Text ähneln. Wer beides mit demselben Bearbeitungsdurchgang lösen will – insbesondere mit einem Durchgang, der innerhalb der schon vorhandenen Ideen bleibt –, landet genau in diesem Konflikt. Wenn Ihr KI-Score gestiegen ist, nachdem Sie wegen der Similarity paraphrasiert haben, liegt das wahrscheinlich daran, dass das Paraphrasieren Ihren Text so verändert hat, dass der KI-Detektor ihn als vorhersagbarer liest, und dass er zugleich auf das False-Positive-Profil „paraphrased without developing new ideas." (umformuliert, ohne neue Ideen zu entwickeln) passt.

Das sollten Sie aus alldem mitnehmen:

1. Der Similarity-Score und der KI-Score sind voneinander unabhängige Messungen. Den einen zu senken, senkt nicht den anderen.
2. Das Similarity-System sucht nach übereinstimmenden Zeichenketten. Das KI-System analysiert Wortwahrscheinlichkeitsmuster. Das sind verschiedene Signale.
3. „Paraphrased without developing new ideas" (umformuliert, ohne neue Ideen zu entwickeln) wird von Turnitin ausdrücklich als Auslöser für False Positives genannt. Maßgeblich ist, ob neue Analyse hinzugekommen ist, nicht welche Bearbeitung den Satz erzeugt hat.
4. Das KI-Modell ist nicht auf Burstiness oder Perplexity als benannte Metriken programmiert, aber es ist auf Wortwahrscheinlichkeit trainiert. Ein Durchgang, der an jeder Stelle auf die vorhersagbarste Option fällt, kann Text maschineller wirken lassen.
5. Similarity senken und KI-Score senken sind getrennte Ziele. Paraphrasieren allein kann dem einen helfen und dem anderen schaden.

Wenn Passagen, die die Voraussetzungen erfüllen, kostenlos erneut durchlaufen werden können, haben Sie Spielraum zum Ausprobieren – und genau dafür ist das Importieren des Turnitin-Berichts gedacht. Entscheidend ist, die beiden Scores als zwei getrennte Probleme zu behandeln, die zwei getrennte Ansätze brauchen.