Turnitins False-Positive-Rate – was dahintersteckt

Turnitin formuliert das Ziel in der eigenen Dokumentation klar: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir wollen die Wirksamkeit des Detektors maximieren und die Rate, mit der vollständig menschlich verfasste Texte fälschlich als KI-generiert eingestuft werden, unter 1 % halten; dabei gilt eine Dokument-Erkennungsbedingung von mehr als 20 % ausgewiesener KI-Schreibanteil.)

Die 20-%-Bedingung betrifft die Ausgabe des Detektors, nicht einen bereits nachgewiesenen KI-Anteil. Turnitins Whitepaper vom August 2024 beschreibt eine Dokumentregel: Bei mehr als 20 % der Sätze überschreitet der Satzwert eine Modellschwelle. Für den False-Positive-Test verwendet der Anbieter Arbeiten, die er als vollständig menschlich verfasst beschreibt. Gezählt wird der Fehler, dass eine menschlich verfasste Arbeit diese Erkennungsschwelle überschreitet.

Die dokumentbezogene False-Positive-Rate gibt an, wie häufig menschlich verfasste Dokumente die Erkennungsregel auslösen. Sie gibt nicht die Wahrscheinlichkeit an, dass eine bereits markierte Arbeit menschlich verfasst ist. Dabei werden die Bedingungen vertauscht; das Testergebnis allein beantwortet die zweite Frage nicht. Auch ein hoher Wert muss geprüft werden: Kann ein 100 % Turnitin-KI-Score trotzdem menschlich sein?

Turnitins FAQ beschreibt die Tests hinter diesem Ziel: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Um unser Testframework zu stärken und statistische Trends bei False Positives zu analysieren, führen wir vor jeder Aktualisierung oder neuen Modellveröffentlichung Tests an über 700.000 zusätzlichen wissenschaftlichen Arbeiten durch, die vor der Veröffentlichung von ChatGPT verfasst wurden, um unsere False-Positive-Rate von unter 1 % weiter zu validieren.)

Die Aussage nennt einen großen Testkorpus, datiert die Arbeiten auf die Zeit vor ChatGPT und beschreibt Tests vor jeder Aktualisierung oder neuen Modellveröffentlichung. Sie sagt nicht, dass für jeden Durchlauf neue Arbeiten gesammelt werden. Das Whitepaper vom August 2024 beschreibt außerdem einen Stresstest-Datensatz aus der Zeit vor 2019 als vollständig menschlich verfasst.

Nennen Sie beim Zitieren der Rate auch die Erkennungsschwelle und den Testkorpus. Weder Umfang noch Alter des Korpus machen das Ergebnis zu einer Garantie für jedes Fachgebiet, jeden Schreibstil oder jede einzelne Einreichung.

Der wichtigste Teil der Dokumentation ist nicht das 1 %-Ziel selbst. Es ist der Kompromiss, den Turnitin explizit eingeht, um dieses Ziel zu erreichen. Die vollständige Aussage lautet: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Um diese niedrige False-Positive-Rate von 1 % aufrechtzuerhalten, besteht die Möglichkeit, dass wir teilweise von KI verfassten Text in einem Dokument übersehen. Damit sind wir einverstanden, da wir nicht fälschlicherweise menschlich geschriebenen Text als KI-generiert kennzeichnen möchten. Wenn wir beispielsweise feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Tool verfasst wurden, könnte der tatsächliche KI-Anteil bis zu 65 % betragen.)

Das Unternehmen legt seine Abwägung offen: Es nimmt übersehenen KI-Text in Kauf, um das Risiko falscher Markierungen menschlicher Texte zu verringern. Das erklärt die Designentscheidung, sagt aber nicht, welche Fehlerart in einem einzelnen Bericht vorliegt.

Das Beispiel mit 50 % und 65 % zeigt eine mögliche Unterschätzung. Es ist weder eine Umrechnungsformel noch eine Obergrenze für andere Dokumente oder ein Beleg dafür, dass jeder Fehler in dieselbe Richtung geht. Dieselbe Dokumentation räumt ein, dass menschlicher Text als KI-generiert fehlklassifiziert werden kann.

Sobald Sie die Bedingung mitdenken, wird die »False-Positive-Rate« zu einem präziseren Werkzeug als die Headline-Version vermuten lässt. Hier ist, was die dokumentierten Zahlen tatsächlich bedeuten.

Erstens: Unterscheiden Sie den ausgewiesenen KI-Prozentwert von der tatsächlichen Urheberschaft. Die 20-%-Grenze gehört zu einer Erkennungsregel. Auch eine vollständig menschlich verfasste Arbeit kann sie überschreiten; genau diesen Fehlalarm soll der Test zählen.

Zweitens: Übersehene KI-Texte sind Teil des Designs. Weil das System gegen False Positives optimiert, schlüpfen manche KI-Anteile durch. Ein nicht hoher Score bedeutet nicht zuverlässig, dass das Dokument vollständig menschlich verfasst ist. Er kann bedeuten, dass der KI-Inhalt unterschätzt wurde.

Drittens: Dass der Anbieter übersehenen KI-Text in Kauf nimmt, belegt nicht, dass ein hoher Wert in Ihrem Einzelfall zuverlässiger ist. Das zitierte Beispiel beziffert nicht die Verlässlichkeit eines Werts von 80 %. Prüfen Sie weiterhin die Passagen und die Nachweise zu ihrer Entstehung.

Ein niedriger Wert beweist keine menschliche Urheberschaft, und ein hoher Wert belegt kein Fehlverhalten. Die zitierte Abwägung vergleicht für sich genommen nicht die Häufigkeit übersehener KI-Texte und falscher Alarme in Ihrem Umfeld. Siehe Was Ihrem Dozenten gesagt wird, wenn Ihr KI-Prozentsatz hoch ist.

Turnittins eigene Anleitung ordnet den Score in einen größeren Entscheidungsrahmen ein. Die Dokumentation besagt: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Unser KI-Schreiberkennungsmodell ist nicht immer treffsicher – es kann menschlich verfasste, KI-generierte und KI-paraphrasierte Texte fehlerhaft einstufen – und sollte daher nicht als alleinige Grundlage für nachteilige Maßnahmen gegen eine Studierende dienen.)

Es heißt weiter: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Es bedarf weiterer Prüfung und menschlicher Urteilskraft in Verbindung mit der Anwendung der spezifischen akademischen Richtlinien einer Institution, um festzustellen, ob ein akademisches Fehlverhalten vorliegt.)

Das ist der Rahmen, innerhalb dessen Studierende und Lehrende agieren sollen. Der Prozentwert ist ein Datenpunkt. Das Urteil fällen Menschen: die Dozierenden, die Fachbereiche, die Institution – unter Anwendung ihrer jeweiligen akademischen Richtlinien. Turnitin selbst sagt, der Score solle die Entscheidung nicht allein tragen. Das Unternehmen unterhält zudem eine Stelle für genau diesen Fehlerfall: Wie man einen False Positive an Turnitin meldet.

Wenn Sie mit einem Score nicht einverstanden sind, besteht der dokumentierte Weg darin, die Zahl als einen Datenpunkt unter mehreren zu behandeln und sie mit der Person zu besprechen, die den akademischen Kontext hat – Ihrer Dozentin oder Ihrem Dozenten. Das ist der Schritt, den die offiziellen Dokumente beschreiben, und er entspricht am ehesten der eigenen Darstellung des Unternehmens. Falls das nicht zur Klärung führt, legt Wie man einen falschen KI-Erkennungs-Flag anfechtet und welche Beweise Ihre Universität akzeptiert dar, was als Nächstes kommt.

Bewahren Sie den ursprünglichen Bericht und Ihre Schreibaufzeichnungen für dieses Gespräch auf. Wenn Sie das Dokument später überarbeiten möchten, bearbeitet HumanPens berichtsgestützter Workflow die markierten Passagen; er beurteilt nicht, ob die ursprüngliche Markierung richtig war.