Perplexity und Burstiness erklärt: Welche KI-Detektoren sie tatsächlich nutzen

Perplexity misst, wie gut sich ein Wort vorhersagen lässt. Liest ein Sprachmodell einen Satz, weist es jedem Wort eine Wahrscheinlichkeit zu, und zwar auf Basis der Wörter, die vorausgegangen sind. Ist das nächste Wort gut vorhersagbar, ist die Perplexity an dieser Stelle niedrig. Ist es unerwartet, ist sie hoch. Die Perplexity eines ganzen Textes ist im Grunde der Mittelwert darüber, wie vorhersagbar die Wortentscheidungen im gesamten Text waren.

Stellen Sie sich das so vor: Wenn Sie schreiben „Das Experiment zeigte signifikante", ist das nächste Wort mit hoher Wahrscheinlichkeit „Ergebnisse" oder „Unterschiede" oder „Effekte". Das sind Wörter mit hoher Wahrscheinlichkeit. Lautet das nächste Wort stattdessen „Ananas", ist das kaum wahrscheinlich, und die Perplexity an dieser Stelle schnellt nach oben. Ein Text, der durchgehend das erwartbarste Wort wählt, hat insgesamt eine niedrige Perplexity. Ein Text mit unerwarteten Entscheidungen hat eine höhere.

KI-generierte Texte haben tendenziell eine niedrige Perplexity, weil Sprachmodelle darauf ausgelegt sind, das jeweils wahrscheinlichste nächste Wort zu wählen. Sie optimieren auf kontextuelle Wahrscheinlichkeit, und daraus ergeben sich vorhersagbare Muster in der Wortwahl. Menschliches Schreiben enthält dagegen oft weniger vorhersagbare Wortwahlen, ungewöhnliche Verben, fachsprachliche Substantive oder Formulierungen, die ein Sprachmodell nicht gewählt hätte. Dieser Unterschied ist real und messbar. Die Frage ist, ob jeder KI-Detektor Perplexity tatsächlich in seinem Algorithmus verwendet – und die Antwort lautet nein.

Burstiness misst die Variation im Satzbau. Haben alle Sätze eines Absatzes in etwa die gleiche Länge, die gleiche grammatische Struktur und den gleichen Rhythmus, ist die Burstiness niedrig. Schwanken die Sätze stark, sind einige kurz und knackig, andere lang und komplex mit Nebensätzen, ist die Burstiness hoch.

Menschliches Schreiben hat tendenziell eine höhere Burstiness als KI-generierter Text. Wir schreiben in Schüben. Wir mischen einen kurzen Aussagesatz mit einem längeren, der einen eingeschobenen Nebengedanken enthält. Wir brechen aus dem Muster aus, wenn wir einen Punkt betonen wollen. KI-Modelle erzeugen eher gleichförmige Satzstrukturen, weil sie auf statistische Konsistenz optimiert sind. Heraus kommt ein Text, der sich glatt liest, aber weniger strukturelle Abwechslung hat.

Burstiness wurde als Erkennungsmerkmal populär, weil sie etwas Reales darüber erfasst, wie sich menschliches und KI-Schreiben unterscheiden. Menschen sind unregelmäßig, KI-Modelle sind gleichförmig. Ein Detektor, der Burstiness misst, prüft, ob die Struktur auf Satzebene stark genug variiert, um menschlich zu wirken. Wie Perplexity ist Burstiness ein nützliches Konzept. Und wie Perplexity ist sie keine Kennzahl, die jeder Detektor berechnet.

GPTZero hat beide Begriffe in Umlauf gebracht, und die eigene Seite liest sich heute auf zwei Ebenen. Der Text von 2023 steht weiterhin dort: Er beschreibt Perplexity als Maß dafür, wie unvorhersagbar ein Text ist, Burstiness als Maß für die Variation auf Satzebene, und beide zusammen als die statistische Schicht des Erkennungsmodells. Ganz oben auf derselben Seite schreibt GPTZero, dass das Unternehmen seit Herbst 2023 Perplexity und Burstiness nicht mehr für die KI-Erkennung verwendet, nachdem es auf eine Deep-Learning-Architektur umgestellt hat. Beide Begriffe lohnt es sich weiterhin zu kennen, denn sie benennen etwas Reales an Texten. Was sie nicht mehr erklären, ist, wie dieser Detektor zu seinem Urteil kommt.

Turnitin geht einen anderen Weg. Im offiziellen FAQ heißt es: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'burstiness', 'perplexity' oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen gelegentlich erwähnt werden.) Der nächste Satz lautet: „Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.) Das ist die ausdrückliche Aussage, dass Turnitin diese beiden Kennzahlen nicht berechnet.

Warum dieser Unterschied zählt: Beide Werkzeuge bewerten denselben Text mitunter unterschiedlich – nur nicht aus dem Grund, der üblicherweise genannt wird. Ein Text, der gezielt auf hohe Burstiness und hohe Perplexity getrimmt wurde, ist auf ein Ziel hin optimiert, das heute keiner der beiden Anbieter für sich reklamiert: GPTZero schreibt, die Nutzung dieser Kennzahlen im Herbst 2023 eingestellt zu haben, und Turnitin erklärt, sein Klassifikator habe Muster aus Trainingsdaten gelernt, ohne eine der beiden zu berechnen. Ratschläge wie „erhöhen Sie Ihre Burstiness" oder „senken Sie Ihre Perplexity" sind auf die statistische Ära der Erkennung zugeschnitten, und die öffentliche Dokumentation beider Anbieter lässt nicht erkennen, ob sie heute noch etwas bewirken.

Wenn Turnitin weder Perplexity noch Burstiness berechnet, worauf stützt es sich dann? Die Dokumentation beschreibt einen Klassifikator, der statistische Muster aus Trainingsdaten lernt und sie anschließend auf Abschnitte Ihres Textes anwendet.

Turnitin schreibt: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'burstiness', 'perplexity' oder andere einzelne Kennzahlen zu bewerten, die in öffentlichen Diskussionen gelegentlich erwähnt werden. Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.) Der Klassifikator wendet weder eine Perplexity- noch eine Burstiness-Formel an. Er wendet Muster an, die beim Training verinnerlicht wurden – Muster, in denen Wortwahrscheinlichkeit eine Rolle spielt, die sich aber nicht auf einen einzelnen benannten Wert reduzieren lassen.

Dieselbe FAQ-Seite sagt, worauf der Klassifikator sich konzentriert: „Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und sind mit den typischen Wortwahrscheinlichkeitsfolgen menschlicher Autoren vertraut.) Wortwahrscheinlichkeit steht im Zentrum dessen, was Turnitins Klassifikator gelernt hat – aber das Modell verarbeitet sie über erlernte Muster, nicht über eine ausdrückliche Perplexity-Berechnung.

Der Mechanismus arbeitet abschnittsweise. Turnitin beschreibt ihn so: „When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wird bei Turnitin eine Arbeit eingereicht, werden die Sätze der Einreichung entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, mit welcher Wahrscheinlichkeit der Text von einem Menschen oder von einer KI stammt.) Die Abschnitte überlappen, Sätze übernehmen die Werte, mehrere Werte werden zusammengeführt, und aus der Aggregation entsteht der Prozentwert für das gesamte Dokument. In dieser Verarbeitungskette gibt es keinen Schritt, in dem Perplexity oder Burstiness berechnet wird.

Turnitin weist außerdem darauf hin: „As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Daher entstehen seine Ausgaben durch viele erlernte Muster, die zusammenwirken, und nicht durch eine kleine Zahl transparenter, für Menschen lesbarer Regeln. Deshalb lassen sich einzelne Vorhersagen nicht immer Merkmal für Merkmal einfach erklären.) Wie das Modell zu seiner Entscheidung kommt, lässt sich nicht nachvollziehen, indem man ein paar Kennzahlen verfolgt.

Die praktische Schlussfolgerung ist einfach. Wenn Sie den Rat lesen, Sie sollten „Ihre Perplexity senken, um Turnitin zu schlagen", dann beruht dieser Rat auf einem falschen Verständnis des Werkzeugs: Turnitin erklärt, sein Modell sei nie ausdrücklich darauf programmiert worden, dieses Signal zu bewerten. Und Hinweise, die auf Burstiness und Perplexity aufbauen, gehören in die Erkennungs-Ära, die GPTZero nach eigener Aussage im Herbst 2023 verlassen hat – zur heutigen Selbstbeschreibung beider Werkzeuge passen sie nicht mehr.

Der Punkt ist: Turnitins Klassifikator kennt diese Konzepte nicht als benannte Kennzahlen. Er hat statistische Muster aus Trainingsdaten gelernt – Muster, die Informationen zur Wortwahrscheinlichkeit enthalten – und wendet sie auf Ihren Text an. Sie können nicht auf eine Kennzahl hin optimieren, die der Klassifikator gar nicht berechnet. Was Sie tun können, ist so zu schreiben, dass echte menschliche Urheberschaft erkennbar wird: mit natürlicher Abwechslung in Wortwahl und Satzbau, die sich von den Mustern unterscheidet, die KI-Modelle erzeugen.

Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden. Probieren Sie es hier aus.