Nutzt Turnitin Perplexität und Burstiness, um KI zu erkennen?

Turnitins Modell ist nicht ausdrücklich darauf programmiert, „Burstiness" oder „Perplexität" als einzelne Kennzahlen zu bewerten. Es ist ein transformerbasierter Klassifikator, der statistische Muster aus Trainingsdaten lernt, darunter Muster der Wortwahrscheinlichkeit. Die verbreitete Behauptung, Turnitin prüfe zwei benannte Werte und markiere Ihren Text, wenn sie in den falschen Bereich fallen, ist also in Bezug auf den Mechanismus falsch – auch wenn die zugrundeliegende Intuition, dass die Wortwahrscheinlichkeit KI-Texte von menschlichen Texten unterscheidet, nicht völlig danebenliegt.

Die Richtigstellung ist wichtig, weil der Rat, der auf dem falschen Mechanismus aufbaut, auf eine ganz bestimmte Weise scheitert. Wenn Sie glauben, Turnitin berechne einen Perplexitätswert, versuchen Sie, diesen Wert zu verschieben. Wenn es tatsächlich Text anhand gelernter Wortwahrscheinlichkeitsmuster über überlappende Segmente hinweg klassifiziert, dann kann das Verschieben einer einzelnen Oberflächenkennzahl das, was der Klassifikator sieht, verändern – oder auch nicht. Wir haben allgemein darüber geschrieben, was KI-Detektoren messen; dieser Artikel verengt den Blick auf den einen Detektor und die zwei Kennzahlen, die die meisten Leute nennen.

In Turnitins FAQ zu den Funktionen der KI-Schreiberkennung steht eine ausdrückliche Klarstellung. Der Satz, den alle zitieren, und der Satz direkt danach, den alle weglassen:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie „Burstiness" oder „Perplexität" oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen manchmal genannt werden.) "Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.)

Derselbe Absatz fährt fort: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Daher entstehen seine Ausgaben durch viele zusammenwirkende gelernte Muster und nicht durch eine kleine Zahl transparenter, für Menschen lesbarer Regeln. Aus diesem Grund lassen sich einzelne Vorhersagen nicht immer in einfachen Merkmal-für-Merkmal-Begriffen erklären.)

Lesen Sie diese vier Sätze zusammen, und die Klarstellung bekommt eine präzise Form. Turnitin sagt: Wir haben kein Modul, das einen Burstiness-Wert berechnet, wir haben kein Modul, das einen Perplexitätswert berechnet, und wir speisen diese zwei Werte auch nicht in einen Schwellenwert ein. Das ist eine Absage an eine bestimmte Architektur. Es ist keine Absage daran, dass Wortwahrscheinlichkeit im Spiel ist.

Hier ist der Satz auf derselben Seite, der aus einer einfachen Klarstellung eine kompliziertere macht. Unter der Frage, welche Parameter oder Merkmale das Modell berücksichtigt, schreibt Turnitin:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und kennen die besonderen Wortwahrscheinlichkeitsfolgen menschlicher Schreibender gut.)

Dieselbe FAQ, die sagt, das Modell sei nicht darauf programmiert, Perplexität zu bewerten, sagt also auch, der Klassifikator sei darauf trainiert, Unterschiede in der Wortwahrscheinlichkeit zu erkennen. Diese beiden Aussagen widersprechen sich nicht, aber Sie müssen sie gleichzeitig im Kopf behalten, um keine von beiden falsch zu lesen.

Perplexität ist als Konzept ein Maß dafür, wie vorhersagbar eine Wortfolge unter einem Sprachmodell ist. Ein Sprachmodell weist Wörtern Wahrscheinlichkeiten zu, und die Perplexität fasst zusammen, wie überrascht das Modell bei jedem Schritt vom tatsächlich nächsten Wort war. Niedrige Perplexität heißt, das Modell fand den Text vorhersagbar. Hohe Perplexität heißt das Gegenteil. Der Grund, warum KI-generierte Texte tendenziell niedrige Perplexität haben: Sprachmodelle erzeugen Text, indem sie aus ihren eigenen Wahrscheinlichkeitsverteilungen ziehen, und die Ausgabe fällt damit in einen Wahrscheinlichkeitsbereich, den das Modell ohnehin für wahrscheinlich gehalten hat.

Das ist die Verbindung. Turnitin berechnet keinen Perplexitätswert und prüft ihn gegen einen Schwellenwert. Aber sein Klassifikator ist auf Wortwahrscheinlichkeitsmuster trainiert, und Perplexität ist eine Art, Wortwahrscheinlichkeit zusammenzufassen. Die Klarstellung betrifft den Mechanismus, nicht das Signal.

Der praktische Unterschied ist dieser. Ein System, das Perplexität als benannte Kennzahl berechnet, gibt Ihnen ein klares Ziel: Senken Sie den Perplexitätswert, und Sie senken die Wahrscheinlichkeit, markiert zu werden. Ein System, das Wortwahrscheinlichkeitsmuster als Teil eines größeren Klassifikators lernt, gibt Ihnen kein solches klares Ziel, denn der Klassifikator kombiniert viele gelernte Muster, und die Ausgabe lässt sich nicht auf einen einzigen Wert reduzieren, den Sie verfolgen könnten. Wir haben uns angesehen, wie man einen KI-Schreibbericht von Turnitin liest: Die Zahl darauf ist ein einzelner Prozentwert, aber dieser Prozentwert ist die Zusammenfassung vieler Klassifikationen auf Segmentebene und kein Ausschlag einer Perplexitätsanzeige.

Turnitins veröffentlichte Beschreibung, wie das Modell eine Einreichung verarbeitet, steht auf derselben FAQ-Seite:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text vermutlich von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Segmente übernimmt den Wert des Segments. Da sich Segmente überlappen, kann ein Satz mehrere Werte haben, die dann zu einem einzigen Wert zusammengeführt werden. Diese Satzwerte werden weiter aggregiert und verwendet, um den Gesamt-KI-Schreibwert des Dokuments zu berechnen.)

Die Verarbeitungskette ist also: Sätze extrahieren, sie in überlappende Segmente schneiden, jedes Segment auf einer Skala von 0 bis 1 klassifizieren, qualifizierende Sätze die Werte der Segmente erben lassen, die sie abdecken, überlappende Werte zusammenführen und dann alles zu dem Prozentwert aggregieren, den Sie im Bericht sehen.

Die Überlappung ist der Teil, der die einfache Geschichte von der einen Kennzahl kaputtmacht. Ein Satz am Rand eines Segments liegt auch im nächsten Segment und übernimmt damit Werte aus beiden. Wenn diese Werte zusammengeführt werden, hängt das, was auf einem Satz liegt, teilweise davon ab, was auf seinen Nachbarn liegt. Ein Satz, den Sie weniger vorhersagbar formuliert haben, kann trotzdem einen hohen Wert aus einem Segment erben, das auch den Satz daneben abdeckt, wenn dieser Nachbar Muster trägt, die der Klassifikator mit KI-Text verknüpft hat.

Deshalb kommen verschiedene Detektoren beim selben Dokument so oft zu unterschiedlichen Ergebnissen. Zwei Klassifikatoren, die auf anderen Daten trainiert wurden, an anderen Grenzen segmentieren und auf andere Weise zusammenführen, erzeugen unterschiedliche Werte für denselben Text, selbst wenn beide auf dieselben zugrundeliegenden Wortwahrscheinlichkeitsmuster reagieren. Die Uneinigkeit ist kein Rauschen um einen wahren Perplexitätswert. Es sind zwei verschiedene gelernte Klassifikatoren, die zwei verschiedene Zusammenfassungen erzeugen.

Wenn Turnitin einen Perplexitätswert berechnen würde, wäre die Strategie einfach. Sie würden die Perplexität Ihres Textes messen, umschreiben, bis sich der Wert bewegt, und neu einreichen. Tools, die behaupten, die „Perplexität zu senken", verkaufen genau diesen Ablauf, und ihre Werbetexte sind die Hauptquelle der Verwirrung über Turnitins Mechanismus.

Wenn Turnitin aber Segmente mit einem Modell klassifiziert, das Wortwahrscheinlichkeitsmuster neben vielen anderen Mustern gelernt hat, dann trägt die Strategie nicht. Sie haben keinen Wert, den Sie verschieben könnten. Sie haben eine Klassifikatorausgabe, die auf die Gesamtverteilung gelernter Merkmale im ganzen Dokument reagiert, zusammengeführt über überlappende Fenster. Eine Umschreibung, die eine Passage für sich genommen weniger vorhersagbar macht, kann die zusammengeführten Werte, die sie abdecken, verändern – oder auch nicht, denn der Klassifikator liest das Segment, nicht den Satz, und zum Segment gehört, was rechts und links davon steht.

Es gibt eine zweite Konsequenz. Dieselbe FAQ-Seite legt fest, was das Modell als qualifizierenden Text betrachtet:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosa-Sätze, das heißt, wir analysieren nur Textblöcke, die in standardmäßigen grammatikalischen Sätzen verfasst sind, und schließen andere Textarten wie Listen, Aufzählungspunkte (kurze Strukturen ohne Satzform) oder andere Strukturen ohne Satzform aus.)

Der nächste Satz lautet: "This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.) Listen, Aufzählungspunkte und andere Strukturen ohne Satzform liegen außerhalb der Analyse. Eine Umschreibung, die Prosa in Aufzählungspunkte verwandelt, um ein Muster zu durchbrechen, senkt also keinen Perplexitätswert. Sie entfernt den Text aus dem, was überhaupt bewertet wird, und der Prozentsatz wird über den verbleibenden qualifizierenden Prosatext berechnet. Das ist ein anderer Vorgang mit einem anderen Risikoprofil, und es lohnt sich zu wissen, welchen von beiden Sie gerade ausführen.

Die Geschichte von Burstiness und Perplexität ist nicht aus der Luft gegriffen. Sie stammt aus frühen akademischen Arbeiten zur KI-Texterkennung, in denen Forschende diese beiden Kennzahlen tatsächlich als Merkmale in experimentellen Klassifikatoren eingesetzt haben und in denen der Verteilungsunterschied zwischen KI- und Menschentext entlang dieser zwei Achsen messbar und anschaulich war. Ein menschlicher Schreibender variiert die Satzlänge stärker als ein Sprachmodell, und seine Wortwahl ist weniger vorhersagbar als die eines Modells. Burstiness erfasste das Erste, Perplexität das Zweite.

Die Geschichte hat sich gehalten, weil sie leicht zu erklären ist und weil sie eine klare Handlung nahelegt: Variieren Sie Ihre Satzlänge, wählen Sie weniger vorhersagbare Wörter. Beides ist vernünftig. Das Problem ist, dass Turnitin ausdrücklich sagt, es baue seinen Detektor nicht, indem es diese zwei benannten Kennzahlen berechnet; die klare Handlung hängt also an einer falschen Beschreibung dessen, was der Detektor tut. Wenn sich der Detektor weiterentwickelt – und der von Turnitin hat sich seit 2023 mehrfach weiterentwickelt –, dann passt die Handlung zu nichts mehr im System, aber der Rat kursiert weiter, weil die Geschichte einfach ist und die Forschung, aus der sie stammt, echt war.

Das ist auch der Grund, warum Humanizer-Tools, die auf Perplexität und Burstiness als benannte Kennzahlen zielen, mit der Zeit an Wirkung verlieren. Der Detektor, für den sie gebaut wurden, war nie ganz der, den Turnitin beschreibt, und mit jeder Iteration von Turnitins Modell wird die Lücke zwischen dem, worauf das Tool zielt, und dem, was der Klassifikator tatsächlich liest, größer.

Das Tool HumanPen ist ein Werkzeug zum Umschreiben von Dokumenten, und die hier entscheidende Designentscheidung ist: Wir versuchen nicht, eine benannte Kennzahl zu verschieben. Wir schreiben die Passagen um, die der KI-Schreibbericht markiert hat, und zwar indem wir die tatsächliche Sprache dieser Passagen verändern und nicht einen Wert verschieben, von dem wir annehmen, dass er unter dem Bericht liegt.

Der Grund ist der, den dieser Artikel entlanggegangen ist. Wenn der Klassifikator Wortwahrscheinlichkeitsmuster über überlappende Segmente hinweg liest, dann verändert das seine Ausgabe, dass Sie die Sprache innerhalb dieser Segmente verändern, nicht dass Sie einen Wert auf einem Dashboard verschieben. Ein Tool, das Ihnen sagt, es habe Ihre Perplexität um einen bestimmten Betrag gesenkt, sagt Ihnen etwas über eine Zahl, die es selbst berechnet hat, nicht über eine Zahl, die Turnitin berechnet hat. Die einzige Zahl, die Turnitin erzeugt, ist der Prozentwert im Bericht, und dieser Prozentwert ist eine Zusammenfassung von Klassifikationen auf Segmentebene und kein Ausschlag einer Perplexitätsanzeige.

Abgerechnet werden nur die Wörter, die tatsächlich umgeschrieben werden. Wenn ein neuer Bericht zum umgeschriebenen Text weiterhin Passagen markiert, können Sie diesen Bericht importieren und genau diese Passagen kostenlos erneut bearbeiten lassen.

Was wir Ihnen nicht sagen werden, ist, was in Ihrem nächsten Bericht stehen wird. Auf unserer eigenen Seite steht, das Tool ziele darauf, Bedeutung, Aufbau, Fachbegriffe, Zitate, Layout und Formatvorlagen zu erhalten und nur die notwendige Sprache umzuschreiben, und danach heißt es, Sie sollten komplexe Dokumente nach dem Herunterladen prüfen. Beide Hälften sind ernst gemeint.

Prüft Turnitin die Perplexität? Nicht als benannte Kennzahl. In Turnitins FAQ heißt es, das Modell sei "not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions," (nicht ausdrücklich darauf programmiert, bestimmte Signale wie „Burstiness" oder „Perplexität" oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen manchmal genannt werden,) und weiter, "it learns statistical patterns from our training data." (es lerne statistische Muster aus unseren Trainingsdaten.) Dieselbe Seite sagt, die Klassifikatoren seien "trained to detect these differences in word probability," (darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen,) und Perplexität ist ein Maß für Wortwahrscheinlichkeit. Das Signal ist also da, aber es wird nicht als eigenständiger Wert berechnet.

Prüft Turnitin Burstiness? Dieselbe Antwort. Burstiness, also die Streuung in Satzlänge und Satzbau, ist keine benannte Kennzahl in Turnitins Modell. Der Klassifikator kann im Rahmen seines Trainings Muster lernen, die mit Satzvariation zu tun haben, aber es gibt kein Modul, das einen Burstiness-Wert berechnet und ihn gegen einen Schwellenwert prüft.

Ist die verbreitete Erklärung also völlig falsch? Nicht völlig. Die Intuition dahinter, dass KI-Text in Wortwahl und Satzbau vorhersagbarer ist als menschlicher Text, ist in der Richtung richtig. Falsch ist die Behauptung, Turnitin berechne zwei benannte Werte und markiere Ihren Text auf ihrer Grundlage. Turnitin sagt, das tue es nicht, und der Mechanismus, den es stattdessen beschreibt, ein Transformer-Klassifikator, der überlappende Segmente liest, ist eine andere Architektur mit anderen Schwächen.

Wenn Turnitin diese Kennzahlen nicht verwendet, was verwendet es dann? Einen transformerbasierten Klassifikator, der überlappende Segmente Ihres Textes liest, jedem Segment eine Wahrscheinlichkeit zuweist, von einer KI erzeugt zu sein, diese Werte über die überlappenden Fenster zusammenführt und sie zu einem Prozentwert auf Dokumentebene aggregiert. Der Klassifikator ist auf Wortwahrscheinlichkeitsmuster aus menschlichen und KI-Texten trainiert. Die Mechanik auf Segmentebene haben wir ausführlicher in dem Artikel darüber, was KI-Detektoren messen, behandelt.

Warum funktionieren Tools, die behaupten, die Perplexität zu senken, trotzdem manchmal? Weil die sprachlichen Änderungen, die einen berechneten Perplexitätswert senken, also weniger vorhersagbare Wörter und variierterer Satzbau, zugleich Änderungen sind, die verschieben können, was ein Wortwahrscheinlichkeits-Klassifikator sieht. Das Tool zielt auf die falsche Kennzahl, aber manche seiner Eingriffe verändern zufällig das richtige Signal. Das Missverhältnis zeigt sich mit der Zeit: Mit jeder Iteration des Klassifikators driftet der Zusammenhang zwischen der Zielkennzahl des Tools und der tatsächlichen Entscheidungsgrenze des Klassifikators, und das Tool verliert an Wirkung, ohne dass es sich selbst verändert.

Heißt das, ich sollte aufhören, mein Schreiben weniger vorhersagbar zu machen? Es heißt: Das Ziel stimmt, die Kennzahl nicht. Ein Text, der im Satzbau variiert und nicht in allgemeine Muster fällt, gleicht seltener dem, was der Klassifikator als KI-artig gelernt hat. Der Fehler liegt darin zu glauben, Sie bewegten einen benannten Wert auf einer Skala, während Sie in Wahrheit die Sprache verändern, die der Klassifikator über überlappende Fenster hinweg liest. Das ist eine lohnende Sache, nur ist es nicht das, was die verbreitete Erklärung Ihnen zu tun unterstellt.