Warum derselbe Text bei jedem Detektor anders bewertet wird

Die klarste veröffentlichte Zahl stammt aus der Stanford-Studie über nicht-muttersprachliche Schreibende, die meist wegen ihrer Schlagzeilen-Falschpositivrate zitiert wird. Sehen Sie sich stattdessen die beiden Zahlen darunter an.

• 89 von 91 TOEFL-Essays (97,80 %) wurden von mindestens einem der sieben Detektoren als KI-generiert markiert.
• 18 von 91 (19,78 %) wurden von allen sieben markiert.

Damit bleiben 71 Essays – vier von fünf im gesamten Korpus –, bei denen die sieben Ja/Nein-Entscheidungen nicht übereinstimmten. Die veröffentlichten Zahlen belegen eine Uneinigkeit bei der Klassifizierung, auch wenn sie nicht verraten, wie weit die zugrundeliegenden Scores im Einzelfall auseinanderlagen.

Bei genau diesen Essays konnte das von einer Institution gewählte Werkzeug darüber entscheiden, ob überhaupt eine Markierung erschien. Das ist ein Problem der Produktabhängigkeit, kein Beleg dafür, dass ein bestimmter Detektor immer falsch lag.

Das Datum zählt. Die Studie erfasste sieben Produkte Anfang 2023, und mehrere haben seitdem Modelle, Schwellenwerte oder Berichtsoberflächen geändert. Als aktuelle Bestenliste taugt sie nicht. Bleibend ist ihr methodisches Ergebnis: Detektorausgaben sind nicht austauschbar. Ein Score eines Anbieters kann den eines anderen also weder bestätigen noch entkräften, solange kein neuer, kontrollierter Vergleich vorliegt.

Selbst ein erneuter Lauf beim selben Anbieter kann abweichen, wenn der Dienst stillschweigend aktualisiert wurde, das Konto andere Funktionen freigeschaltet hat oder das Dokument anders eingelesen wurde. Reproduzierbarkeit verlangt daher mehr, als den Text zu sichern: Behalten Sie Originaldatei, Bericht, Datum, Produktebene, Spracheinstellung und – falls verfügbar – die Modellversion. Ein Screenshot mit einer einzigen Prozentzahl ist ohne diesen Kontext später kaum zu prüfen.

Weil sie nicht dieselbe Messung nur unterschiedlich umsetzen. Es sind schlicht unterschiedliche Produkte.

• Unterschiedliche Modelle im Hintergrund. Ein Detektor, der Perplexität gegen GPT-2 misst, und einer, der einen eigens trainierten Deep-Learning-Klassifikator einsetzt, stellen demselben Satz unterschiedliche Fragen.
• Unterschiedliche Architekturen im Zeitverlauf. GPTZero hat Perplexität und Burstiness im Herbst 2023 hinter sich gelassen; andere nicht. Ein Vergleich zwischen Anbietern ist immer auch ein Vergleich zwischen Generationen von Methode.
• Unterschiedliche Trainingsverteilungen. Was als unauffälliges menschliches Schreiben gilt, hängt davon ab, mit wessen Texten der Klassifikator trainiert wurde. Genau das ist der Mechanismus hinter dem ESL-Bias – und er fällt je Anbieter anders aus.
• Unterschiedliche Schwellenwerte und Berichtsregeln. Turnitin hält numerische Werte von 1 bis 19 % zurück; andere geben auf jeder Stufe eine Zahl aus. Dasselbe zugrundeliegende Signal kann also unterschiedlich dargestellt werden, noch bevor Sie es überhaupt sehen.
• Unterschiedliche Einheiten. Ein Prozentwert kann das Vertrauen in das Gesamtdokument bedeuten, ein anderer den Anteil der als KI markierten Sätze, ein dritter den Anteil der überhaupt qualifizierenden Prosa. Gleich aussehende Zahlen müssen nicht dieselbe Frage beantworten.
• Unterschiedliche Vorverarbeitung. Werkzeuge entfernen womöglich Literaturangaben, ignorieren Aufzählungspunkte, trennen Sätze anders oder schneiden lange Dokumente ab. Sie bewerten also unter Umständen einen anderen Text, obwohl sie dieselbe Datei erhalten zu haben scheinen.

Die Textlänge verschärft diese Unterschiede. Ein Detektor, der mehrere hundert Wörter braucht, kann Muster auf Dokumentebene nutzen; ein Browser-Werkzeug, dem ein einziger Absatz genügt, stützt sich eher auf lokale Merkmale. Auch die Sprachunterstützung zählt: Ein auf Englisch kalibriertes Modell verhält sich bei übersetzten Passagen oder einem zweisprachigen Literaturverzeichnis nicht automatisch genauso.

Die Definitionen der Anbieter selbst zeigen, warum gleich aussehende Prozentwerte nicht vergleichbar sind, solange man die Einheit nicht kennt. Geprüft am 28. August 2026:

Turnitin meldet also einen Anteil an einer Teilmenge des Dokuments, während die drei anderen Beispiele die Sicherheit rund um ein Klassenlabel angeben. Dasselbe Zeichen – das Prozentzeichen – leistet hier ganz unterschiedliche mathematische Arbeit. Die Zahl eines Anbieters in die Skala eines anderen umzurechnen ist keine zweite Meinung, sondern stellt eine andere Frage.

Die eigenen öffentlichen Seiten von GPTZero machen das Einheitenproblem sichtbar, ohne dass man zwei Firmen vergleichen müsste. Seine API-Dokumentation und die Seite des Web-Detektors beschreiben zwei verschiedene Ausgaben, beide mit Prozentzeichen. Geprüft am 28. August 2026:

Beides können getrennte Ausgabefelder sein und muss kein Widerspruch sein. Die praktische Regel lautet: Nennen Sie die Oberfläche und das Feld. Eine nackte Formulierung wie „GPTZero hat 30 % zurückgegeben" lässt offen, welche Größe die Zahl eigentlich bezeichnet.

Dieselbe Einheitenverwirrung findet sich in zwei aktuellen chinesischen Anbieterbeschreibungen. Der unten zitierte Wortlaut wurde am 28. August 2026 geprüft.

Diese Aussagen verknüpfen dasselbe optische Zeichen mit unterschiedlichen Größen: hier die Auftrittswahrscheinlichkeit, dort der Anteil verdächtigen Textes. Ein Wert von 30 % auf der einen Seite lässt sich nicht neben 30 % auf der anderen Seite stellen, ohne vorher die Einheit zu wechseln – und keine der beiden Seiten veröffentlicht eine Umrechnungsregel.

Beim Vergleich von Scores kommt noch eine weitere Falte hinzu. In einem Benchmark drängen sich manche Detektorausgaben bei 0 oder 1, andere belegen deutlich mehr von der Skala. Das heißt nicht zwangsläufig, dass das zugrundeliegende Modell gar keinen kontinuierlichen Wert hat: Schwellenwerte, Rundung und die Oberfläche können ein kontinuierliches Signal binär aussehen lassen.

HumanizerBench, das fünf kommerzielle Detektoren über jede Stichprobe laufen lässt, verwendet aus genau diesem Grund den Median statt des Mittels: Wenn binarisierende Detektoren in der Menge sind, verschiebt ein einzelner Ausreißer den Mittelwert um bis zu 0,25. Die Methodenseite sagt das ausdrücklich.

Ein Mittelwert über solche Ausgaben ist mathematisch möglich, seine Interpretation bleibt aber unklar, wenn die Eingaben unterschiedliche Einheiten und Kalibrierungen haben. Ein Median dämpft den Einfluss eines extremen Wertes; er offenbart weder die tatsächliche Wahrheit noch macht er die beteiligten Detektoren voneinander unabhängig. HumanizerBench ist ein veröffentlichter Produkt-Benchmark, keine institutionelle Validierungsstudie – die Wahl der Aggregation ist in diesem Rahmen zu lesen.

Mehrheitsentscheide haben eine ähnliche Grenze. Fünf korrelierte Werkzeuge, die auf überlappenden Korpora trainiert wurden, sind keine fünf unabhängigen Zeugen. Übereinstimmung kann gemeinsame blinde Flecken spiegeln, Uneinigkeit nicht mehr als unterschiedliche Grenzwerte. Ohne gelabelte Testsets mit menschlichen und generierten Texten, die zur Zielgruppe passen, lässt sich aus den Stimmen keine seriöse Urheberwahrscheinlichkeit ableiten.

Vier Dinge folgen daraus, und keine davon betrifft die Schreibtechnik.

• Bei einem laufenden Verfahren der Institution: Finden Sie heraus, welcher Bericht tatsächlich verwendet wird. Ein anderer Anbieter sagt Ihnen nur, was dieser Anbieter meint; er kann das Werkzeug, die Einstellungen oder die Version der Institution nicht nachbilden.
• Eine zweite Meinung, die Sie entlastet, ist kein Freispruch – und eine, die Sie markiert, ist kein Beweis. Beides ist die Ausgabe eines einzigen Klassifikators zu einem Text, dessen Eigenschaften mehrere andere Klassifikatoren anders lesen.
• Fragen Sie, wofür der Score überhaupt verwendet wird. Turnitin erklärt, das Modell könne Text falsch einordnen und solle nicht die alleinige Grundlage für nachteilige Maßnahmen sein. Ein Detektorergebnis ist eine Eingabe in ein Prüfverfahren, kein Befund über Fehlverhalten.
• Wenn Sie Werkzeuge für die Forschung vergleichen: Halten Sie die Bedingungen konstant. Nutzen Sie dieselbe Version, denselben vollständigen Input, dieselbe Sprache, dasselbe Datum und dasselbe gelabelte Korpus; dokumentieren Sie Fehlschläge und ausgeschlossenen Text ebenso wie die angezeigte Zahl.

Für einen Einspruch bringen konkurrierende Screenshots meist nur Rauschen. Prozessbelege – Entwürfe, Notizen, Quellenannotationen, Versionsverlauf und die Fähigkeit, Entscheidungen zu erklären – klären die Urheberschaft deutlich direkter als ein weiterer undurchsichtiger Klassifikator. Für Lehrende ist die Uneinigkeit ein Grund, ein Verfahren zur Gegenprüfung zu entwerfen, bevor ein schwieriger Fall eintritt, nicht erst danach.

Für die Beschaffung gilt: Vergleichen Sie die Fehlerquote nach Untergruppe und Textgattung, statt zu fragen, welcher Anbieter die höchste Gesamtgenauigkeit meldet. Verlangen Sie eine dokumentierte Update-Politik, eine Nachvollziehbarkeit der Berichtsversionen, klare Regeln für den qualifizierenden Text und einen Export, auf den Studierende sinnvoll antworten können. Uneinigkeit wird weniger gefährlich, wenn die Institution genau weiß, was das Werkzeug beiträgt, und vorab definiert hat, welche Belege es überstimmen können.

Worum es bei der Zahl überhaupt geht, erklärt was KI-Detektoren tatsächlich messen.