Turnitins 4 % auf Satzebene: Was die Fehlalarmzahl 2023 bedeutete

Turnitins Erklärung vom Juni 2023 beschrieb rund 4 % der bereits als KI-geschrieben markierten Sätze als möglicherweise menschlich verfasst. Das ist eine Statistik über markierte Sätze, keine kalibrierte Wahrscheinlichkeit für einen bestimmten Satz in Ihrem heutigen Bericht. Es ist auch nicht der Anteil aller menschlich geschriebenen Sätze, die markiert werden.

Die Chief Product Officer von Turnitin, Annie Chechitelli, beschrieb es im Juni 2023 so:

„Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (Unsere Fehlalarmquote auf Satzebene liegt bei rund 4 %. Das heißt: Es besteht eine Wahrscheinlichkeit von 4 %, dass ein bestimmter, als KI-geschrieben markierter Satz tatsächlich von einem Menschen stammt. Das tritt häufiger in Dokumenten auf, die menschlich und KI-geschriebene Inhalte mischen, besonders an den Übergängen zwischen menschlich und KI-geschriebenen Textteilen.)

Die Bedingung lautet: Der Satz wurde bereits markiert. Eine Fehlalarmquote auf Dokumentebene fragt dagegen, wie häufig menschlich geschriebene Dokumente eine Erkennungsregel auslösen. Die Bezugsgrößen sind verschieden; deshalb lässt sich der eine Prozentsatz nicht in den anderen umrechnen.

Derselbe Beitrag vom Juni 2023 nennt auch eine Zahl auf Dokumentebene:

„Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (Unsere Fehlalarmquote auf Dokumentebene, also die fälschliche Einstufung vollständig menschlich geschriebenen Textes als KI-generiert, liegt bei unter 1 %, wenn die Dokumentbewertung eine KI-Schreibanzeige von mindestens 20 % ergibt.)

Der Wortlaut kann leicht missverstanden werden: Die 20 % beziehen sich auf die Ausgabe des Detektors, nicht auf einen bekannten tatsächlichen Anteil von KI-Text. Turnitins Whitepaper vom August 2024 erläutert eine Dokumentregel, bei der mehr als 20 % der Satzbewertungen über einer Modellschwelle liegen. Es testet Fehlalarme an studentischen Arbeiten aus der Zeit vor 2019, die als vollständig menschlich geschrieben beschrieben werden. Ein Fehlalarm liegt vor, wenn eine solche menschlich verfasste Arbeit die Erkennungsschwelle überschreitet.

Vollständig menschlich geschriebene Arbeiten sind genau das, was ein Fehlalarmtest auf Dokumentebene benötigt. Die 20-%-Schwelle der Erkennungsregel schließt sie nicht vom Test aus.

Der Beitrag von 2023 sagt, dass falsch markierte Sätze in gemischten Dokumenten häufiger vorkommen, besonders an Übergängen zwischen menschlichem und KI-Text. Häufiger bedeutet nicht ausschließlich. Falsche Markierungen in vollständig menschlich geschriebenen Arbeiten sind damit nicht ausgeschlossen.

Das Ziel von unter 1 % beschreibt, wie häufig menschlich geschriebene Dokumente unter den Testbedingungen des Anbieters die festgelegte Erkennungsregel auslösen. Es bedeutet nicht, dass eine markierte Arbeit mit weniger als 1 % Wahrscheinlichkeit menschlich geschrieben ist. Das würde die gemessene Bedingung umkehren.

Beide Zahlen können erklären, dass Fehler möglich sind. Keine bestimmt, wer Ihre konkrete Textstelle geschrieben hat. Prüfen Sie die markierte Passage und den Schreibprozess, statt eine der Quoten als Urteil zu verwenden.

Turnitin hat einen konkreten Datenpunkt dazu veröffentlicht, wo diese falsch markierten Sätze auftauchen:

„As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (Wie in meinem früheren Artikel erläutert, besteht ein Zusammenhang zwischen diesen Sätzen und ihrer Nähe zu tatsächlichem KI-Text im Dokument. In 54 % der Fälle stehen diese Sätze unmittelbar neben tatsächlichem KI-Text.)

Mit diesen Sätzen sind menschlich geschriebene, aber fälschlich markierte Sätze gemeint. Laut der Beschreibung von 2023 standen 54 % neben tatsächlichem KI-Text. Das beschreibt eine beobachtete Häufung von Fehlern, keine Regel für jeden Fehlalarm.

Diese Beobachtung erklärt nicht die Ursache einer Markierung in Ihrer Arbeit. Sie beweist weder, dass daneben KI-Text steht, noch schließt sie einen Fehler ohne benachbarten KI-Text aus. Markierte Passagen können die Prüfung lenken; eine Statistik über räumliche Nähe kann die Urheberschaft nicht feststellen.

Derselbe Beitrag sagt ausdrücklich, dass eine Markierung ein Ausgangspunkt ist, kein Ergebnis – und er sagt das den Lehrenden, also genau denen, die es lesen sollen:

„Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (Betrachten Sie markierte Sätze als Bereiche von Interesse, weil sie voraussichtlich in der Nähe von KI-Text stehen. In einem kleinen Prozentsatz der Fälle kann das KI-Modell jedoch falsch liegen. Nutzen Sie die Information also, um ein Gespräch zu beginnen, und nicht, um ein Urteil zu fällen.)

Der Beitrag schließt außerdem das aus, woran Studierende sich am häufigsten gemessen glauben. Es gibt keine Zahl, die Sie treffen müssten:

„Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (Denken Sie daran: Beim KI-Schreibindikator gibt es keinen ‚richtigen‘ Wert und auch keinen ‚Zielwert‘, genau wie beim Similarity Score.)

Nichts davon sagt Ihnen, ob Sie in Schwierigkeiten stecken, denn das kann keine veröffentlichte Zahl leisten. Was es Ihnen gibt, ist ein Weg, das Gespräch beim Bericht selbst zu halten und nicht bei einer Prozentzahl.

• Fragen Sie, welche Stellen es betrifft, und fordern Sie den Bericht an, nicht einen Screenshot. Zwei markierte Sätze und eine Zahl auf Dokumentebene sind verschiedene Dinge. Nur die Markierungen haben eine Stelle, auf die Sie zeigen können.
• Fragen Sie, welche Quote zitiert wird und was sie misst. Die 20-%-Schwelle betrifft die Ausgabe des Detektors. Die Fehlalarmquote auf Dokumentebene wird an menschlich geschriebenen Arbeiten gemessen; sie ist nicht die Wahrscheinlichkeit, dass Ihre konkret markierte Arbeit menschlich geschrieben ist.
• Nehmen Sie die Anweisung von Turnitin selbst mit. Sie sagt Lehrenden, eine Markierung solle ein Gespräch eröffnen und kein Urteil begründen. Dieser Satz richtet sich an die Person, die Ihren Bericht in der Hand hält, und er steht oben Wort für Wort im Original.
• Bewahren Sie, was zeigt, wie die Arbeit entstanden ist – Entwürfe, Versionsverlauf, Notizen, die Literatur, die Sie gelesen haben. Das ist ein Beleg für die Urheberschaft. Eine Prozentzahl ist das nicht.