Was KI-Detektoren außer Perplexity und Burstiness noch messen

Perplexity misst, wie überraschend Ihre Wortwahl für ein Sprachmodell ist. GPTZero, dessen Erklärseite den Begriff populär gemacht hat, beschreibt es als wie wahrscheinlich ein KI-Modell genau dieselben Wörter wählen würde, die in einem Dokument stehen. Ist das nächste Wort genau das, das das Modell vorhergesagt hätte, ist die Perplexity niedrig. Die damals veröffentlichte Faustregel: Ab einem Wert über 85 galt der Text eher als menschlich geschrieben denn als nicht menschlich.

Burstiness misst die Abwechslung. Menschen variieren ihren Satzbau: ein langer verschachtelter Satz, dann ein kurzer flacher, dann ein Fragment. Sprachmodelle schreiben – in den Worten von GPTZero – mit einem sehr gleichmäßigen Grad an KI-Typischem, deshalb bleibt ihre Burstiness niedrig.

Ein statistischer Detektor kann diese Werte für Sätze oder Abschnitte berechnen, indem er den Text durch ein Referenz-Sprachmodell laufen lässt und prüft, wie vorhersagbar er war. Welches Modell man nimmt, macht einen Unterschied: Eine Formulierung, die ein Modell überraschend findet, kann für ein anderes ganz gewöhnlich sein – weil sie mit anderen Korpora trainiert wurden und Text anders zerlegen.

Beide Kennzahlen sind Eigenschaften des Textes. Keine von beiden ist eine Eigenschaft der Person, die ihn geschrieben hat. In der Berechnung steckt nichts, das Zugriff darauf hätte, wer was getippt hat.

Perplexity ist kein Prozentanteil an KI-Urheberschaft. Sie ist meist ein transformierter Mittelwert der Wahrscheinlichkeiten für das nächste Token, und ihre absolute Skala hängt vom Modell ab. Burstiness ist noch weniger standardisiert: Anbieter messen womöglich die Streuung der Perplexity über die Sätze, die Satzlänge, die Syntax oder eine eigene Kombination. Zwei Tools, die dasselbe Wort anzeigen, können also ganz unterschiedliche Berechnungen melden.

Ein vollständiger Detektor braucht außerdem eine Entscheidungsregel. Er kann Satzwerte zu einem Dokumentwert zusammenfassen, eine Mindestmenge Fließtext verlangen, benachbarte Sätze glätten und einen Schwellenwert anlegen, der Fehlalarme gegen übersehene Treffer abwägt. Diese Produktentscheidungen können das gemeldete Ergebnis verändern, selbst wenn die Textmerkmale darunter identisch sind.

Niedrige Perplexity heißt: vorhersagbare Wortwahl. Vorhersagbare Wortwahl hat viele Ursachen – und dass ein Modell den Text erzeugt hat, ist nur eine davon.

• In einer Zweitsprache schreiben. Sich auf den Wortschatz zu beschränken, in dem Sie sich sicher sind, ist eine vernünftige Strategie – und erzeugt genau diese Signatur. Deshalb haben 7 Detektoren 61 % der von Menschen geschriebenen TOEFL-Essays falsch eingeordnet.
• In einer Textsorte mit festen Konventionen schreiben. Ein Methodenteil, eine juristische Definition, ein Laborprotokoll. Formelhafte Formulierungen sind dort das richtige Register, kein Indiz.
• Auf Verständlichkeit feilen. Wenn Sie ungewöhnliche Konstruktionen und einen unregelmäßigen Rhythmus entfernen, wird die Wortwahl vorhersagbarer – wie stark der Effekt ausfällt, hängt allerdings vom Detektor und von der Passage ab.
• Zitieren oder eng an einer Vorlage bleiben. Ethik-Erklärungen, Reporting-Checklisten und Standarddefinitionen verwenden mit Absicht immer wieder dieselben stabilen Formulierungen. Dass Sie der Urheber sind, macht diese Wendungen statistisch nicht neuartig.
• Einen kurzen Ausschnitt schreiben. Mit weniger Kontext kann ein einzelner formelhafter Absatz das Ergebnis dominieren. Manche Anbieter legen deshalb Mindestlängen fest, statt so zu tun, als wäre jedes Fragment gleich gut bewertbar.

Das eröffnet eine unbequeme Möglichkeit: Behutsames Redigieren kann die Lesbarkeit verbessern, ohne das Detektor-Ergebnis zu verbessern. Ein Beispiel ist das HumanizerBench-Ranking: Dort schnitt Grammarly im veröffentlichten Test beim Bedeutungserhalt und bei der Lesbarkeit gut ab, hatte aber eine Umgehungsrate von 0,0. Dieser Benchmark belegt nicht, warum die Detektoren so reagiert haben, und er sollte nicht über seine Stichproben hinaus verallgemeinert werden. Er zeigt aber eines: Schreibqualität und das Umgehen von Detektoren sind zwei getrennte Bewertungsachsen.

Vorhersagbarkeit ist kein Plagiat, kein Fehlverhalten und kein Beweis für Automatisierung. Sie kann ein Merkmal klarer, konventioneller und sorgfältig redigierter menschlicher Prosa sein.

Genau diesen Teil lassen viele Detektor-Erklärungen weg. GPTZero schreibt ganz oben auf der eigenen Seite, dass das Unternehmen seit Herbst 2023 Perplexity und Burstiness nicht mehr für die Erkennung verwendet, nachdem es auf eine Deep-Learning-Architektur umgestellt hat. Weiter unten beschreibt dieselbe Seite statistische Methoden als Indikatoren in einem größeren System – eine hilfreiche Warnung davor, ein Produkt, das sich laufend ändert, auf zwei öffentliche Begriffe zu reduzieren.

Turnitin veröffentlicht die Kategorien des Berichts, die Regeln zur Auswertbarkeit und die Hinweise zur Vorsicht – nicht aber die Modellgewichte, den Trainingskorpus oder die Merkmals-Pipeline, die man bräuchte, um den Klassifikator nachzuvollziehen. Andere kommerzielle Anbieter legen unterschiedlich viel offen. Ein Produktetikett wie „Deep Learning" benennt eine Familie von Methoden, keine transparente Messung.

Perplexity und Burstiness sind ein nützliches historisches Modell dafür, wie sich Detektoren verhalten – aber kein verlässliches Rezept, um den aktuellen Score eines kommerziellen Tools vorherzusagen.

Klassifikatoren mit tiefen Netzen können Kombinationen aus Syntax, Semantik und weitreichenden Mustern lernen, die sich einzeln kaum benennen lassen. Sie können außerdem aktualisiert werden, ohne dass alte Berichte neu berechnet werden. Dadurch gehören die Detektor-Version, die abgedeckten Sprachmodelle und das Datum des Berichts zum Beweis dazu. Ein Score ohne diese Angaben ist weniger reproduzierbar, als er wirkt.

Das verstellt auch einen häufigen Rückschluss: Eine Passage bekommt nicht deshalb einen hohen Wert, weil sie eine einzelne sichtbare Angewohnheit hat – etwa wiederholte Überleitungen oder lange Gedankenstriche. Eine einzelne Angewohnheit zu entfernen, kann gar nichts verändern, während gewöhnliche Änderungen an anderer Stelle das Ergebnis verschieben können. Listen mit angeblichen „KI-Wörtern" sind deshalb eine schlechte Erklärung für einen Klassifikator und ein schlechter Rat beim Redigieren.

Modell-Updates bringen eine Verteilungsverschiebung in beide Richtungen. Ein Detektor, der darauf trainiert wurde, menschliche Essays von 2023 von Modellergebnissen von 2023 zu trennen, kann später auf spätere Modelle, neue Paraphrasier-Tools und veränderte Schreibgewohnheiten treffen. Eine Neukalibrierung kann ein Genre verbessern und ein anderes verschlechtern. Die aktuelle Leistung muss deshalb an aktuellen Ausgaben und an zurückgehaltenen menschlichen Texten gemessen werden, nicht aus einem Start-Benchmark oder dem Namen der Architektur abgeleitet werden.

Nicht viel über Schreibtechnik – aber eine ganze Menge darüber, wie viel Gewicht eine Zahl verdient.

Ein Score ist das Ergebnis eines Klassifikators über Eigenschaften des Textes, trainiert und kalibriert auf eine bestimmte Verteilung. Je nach Anbieter beschreibt die angezeigte Prozentzahl womöglich den Anteil des qualifizierenden Textes, der einer Kategorie zugeordnet wurde – und nicht die Wahrscheinlichkeit, dass der Autor KI benutzt hat. Er ist ein Beleg dafür, wie dieses System dieses Dokument eingeordnet hat, nicht unmittelbar ein Beleg über eine Person.

• Prüfen Sie den Nenner. Ist die Zahl das Vertrauen auf Satzebene, das Vertrauen auf Dokumentebene oder der Anteil der Prosa, die überhaupt gewertet wird? Das sind unterschiedliche Größen.
• Prüfen Sie die Einsatzbedingungen. Sprache, Mindestlänge, unterstützter Dateityp und ausgeschlossenes Material können bestimmen, was das Modell überhaupt bewertet hat.
• Prüfen Sie Version und Datum. Ein Update des Anbieters kann Einordnungen verändern, ohne dass sich an der Prosa irgendetwas ändert.
• Prüfen Sie die Entscheidungsregel. Fragen Sie, ob die Institution das Ergebnis für eine Vorauswahl, für ein Gespräch oder für eine förmliche Feststellung nutzt – und welche zusätzlichen Belege verlangt werden.

Für Schreibende bleibt der Ratschlag, der immer gilt: gewöhnliche Urheberpraxis. Bewahren Sie Entwürfe auf, prüfen Sie Ihre Quellen, halten Sie Ihren eigenen Gedankengang fest und redigieren Sie für die Leserschaft, die Sie im Sinn haben. Zu versuchen, einen unsichtbaren Klassifikator zu optimieren, ersetzt diese Ziele durch eine instabile Zielscheibe.

Für Entscheidungsträger zählt die Kalibrierung so viel wie das Ranking. Ein Klassifikator kann generierte Passagen ganz ordentlich über menschliche setzen und trotzdem Prozentwerte anhängen, die keiner realen Wahrscheinlichkeit entsprechen. Bevor ein Score im Betrieb eingesetzt wird, sollten Sie fragen, was die Prozentzahl bezeichnet, wie sie kalibriert wurde, auf welcher Population – und wie sich die Leistung am gewählten Schwellenwert verändert. Ohne diese Antworten geben die Nachkommastellen der Anzeige Präzision, nicht der Schlussfolgerung Sicherheit.

Wenn Sie die Konsequenzen ausformuliert haben wollen – was passiert, wenn verschiedene Anbieter denselben Absatz prüfen –, lesen Sie warum derselbe Text bei jedem Detektor anders abschneidet. Und wenn Sie schon einen Bericht vor sich liegen haben: Wie Sie einen Turnitin AI Writing Report lesen erklärt, was genau diese Zahl misst.