Was bedeutet das Sternchen (\*%) bei einem Turnitin-KI-Wert?

Das Sternchen bedeutet, dass der Detektor von Turnitin KI im Bereich 1 % bis 19 % gefunden hat und Ihnen weder die Zahl noch die Markierungen zeigt. Der Grund laut Turnitins eigenen Worten ist, dass Werte in diesem Bereich ein höheres Risiko falsch-positiver Ergebnisse tragen. Der Bericht sagt also nicht „nichts erkannt“ und nicht „null“. Er sagt: Es wurde etwas gefunden, und wir werden es Ihnen nicht zeigen. Das hat eine konkrete Folge für jeden, der gegen ein Ergebnis in diesem Bereich lesen oder überarbeiten will, denn die beiden Dinge, die Sie zum Handeln aufgrund eines Werts bräuchten, sind beide weg. Die Zahl ist weg, und die markierten Passagen sind weg.

Hier ist die vollständige Antwort aus der FAQ zu den KI-Schreib-Erkennungsfunktionen von Turnitin:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um mögliche falsch-positive Ergebnisse zu vermeiden, werden für KI-Erkennungsergebnisse im Bereich 1 % bis 19 % keine Punktzahl oder Markierungen vergeben. Wenn unterhalb der 20 %-Schwelle im Bericht KI erkannt wird, wird dies nun mit einem Sternchen (*%) angezeigt und kein Prozentsatz vergeben.)

In diesem Satz stecken drei Dinge, und das zweite wird meistens übergangen.

Erstens ist das Sternchen kein Platzhalter für null. Es deckt alles von 1 % bis 19 %. Ein Bericht mit einem Sternchen hat ein Ergebnis ungleich null dahinter, und der Bericht hat entschieden, welche von null verschiedene Zahl nicht anzuzeigen.

Zweitens ist der Grund falsch-positive Ergebnisse. Die Regel existiert, weil Turnitin glaubt, dass Werte in diesem Bereich häufiger falsch sind, wobei „falsch“ bedeutet, menschlich geschriebenen Text als KI zu markieren. Der Satz zwei Absätze vor diesem in der FAQ verwendet die Formulierung "incorrectly flagging human-written text as AI-generated" (fälschlicherweise menschlich geschriebenen Text als KI-generiert markieren), um zu beschreiben, was ein falsch-positives Ergebnis ist, und die Sternchen-Regel ist die direkte Antwort auf dieses Risiko.

Drittens liegt die Schwelle bei 20 %. Zwanzig ist, wo der Bericht sich wieder wie eine Messung verhält. Unter zwanzig verhält er sich wie ein Schalter mit einer Stellung für null und einer Stellung für alles andere. Das Sternchen ist einer von vier Indikatorzuständen, die der Bericht anzeigen kann; es ist der einzige, der sagt, dass etwas gefunden wurde, ohne zu verraten, was.

Das Sternchen entfernt zwei Arten von Information, und die zweite bekommt weniger Aufmerksamkeit, als sie verdient.

Die Zahl fällt weg. Das bemerkt jeder. Der Prozentsatz, der zwischen 1 % und 19 % gestanden hätte, wird durch ein Symbol ersetzt, und es gibt keine Möglichkeit, die echte Zahl aus dem Bericht abzulesen.

Die Markierungen fallen auch weg. Bei einem Wert von 20 % oder höher markiert der Bericht Passagen, von denen er glaubt, dass sie KI-geschrieben sind, und Sie können sie sich ansehen. Bei einem Sternchen gibt es nichts anzusehen. Keine Passage ist markiert. Keine Position auf Satzebene wird angegeben. Der Bericht hat ein Ergebnis, das er Ihnen nicht zeigt, und er zeigt Ihnen auch nicht, woher dieses Ergebnis kam.

Denken Sie das bis zu einer Überarbeitung weiter. Angenommen, eine frühere Version des Dokuments kam auf 17 % zurück und die aktuelle auf 3 %. Beide Berichte zeigen ein Sternchen. Dasselbe Symbol, dieselbe Abwesenheit von Markierungen, dasselbe alles auf dem Bildschirm. Die Arbeit ist passiert. Die Oberfläche hat kein Vokabular, um sie zu melden. Wer Ihnen erzählt, ein aktueller Bericht habe sich „von 15 % auf 4 %“ bewegt, liefert zwei Zahlen, die der Bericht nicht hervorgebracht hat. Das ist keine Lesart des Berichts; das ist eine Behauptung über das, was dahinter steht.

Das ist auch der Grund, warum zwei Sternchen zu vergleichen kein Vergleich ist. Zwei Berichte mit demselben Symbol können unterschiedliche zugrunde liegende Ergebnisse haben, und keiner der Berichte sagt Ihnen, ob das so ist. Wenn Sie zwei Versionen eines Dokuments vergleichen müssen, sind die Berichte, die verglichen werden können, die bei 20 % und darüber, wo Zahl und Markierungen beide sichtbar sind. Wir haben in wie man einen Turnitin-KI-Schreib-Bericht liest durchgespielt, wie ein lesbarer Vergleich aussieht.

Die Sternchen-Regel betrifft die Anzeige. Es gibt eine separate Eigenschaft des Modells, die den Bereich hinter dem Sternchen weniger vorhersehbar macht, als es die Zahl gewesen wäre, die sie ersetzt, und sie liegt auf derselben Grenze.

Aus der FAQ, zu kurzen Dokumenten:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (In kürzeren Dokumenten, die nur wenige hundert Wörter umfassen, wird die Vorhersage meist „ganz oder gar nicht“ ausfallen, da wir auf einem einzelnen Segment vorhersagen, ohne die Möglichkeit der Überlappung.)

Der nächste Satz:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass mancher Text, der eine Mischung aus KI-generiertem und originalem Inhalt ist, als vollständig KI-generiert markiert werden könnte.)

Ein kurzes Dokument mit gemischtem Inhalt kann also ein Ergebnis bekommen, das wie eine Sache aussieht, während die zugrunde liegende Lage eine andere ist. Wäre der gemeldete Wert bei einem solchen Dokument etwa 14 % gewesen, könnte das echte Bild komplizierter sein, als die 14 % vermuten ließen. Das Sternchen verbirgt diese 14 %, und damit verbirgt es auch die Tatsache, dass die 14 % selbst eine Alles-oder-Nichts-Vorhersage auf einem einzelnen Segment war.

Nichts davon ist eine Aussage über Fehlverhalten. Es ist eine Aussage darüber, was das Werkzeug Ihnen in dem Bereich, zu dem es nichts zeigen will, sagen kann und was nicht. Die Folge für einen Leser ist, dass ein Sternchen auf einem kurzen Dokument der am wenigsten aussagekräftige Zustand ist, in dem der Bericht sein kann, während er immer noch sagt, dass etwas passiert ist. Und das eine, was der Bericht sagt, sagt er ohne Kontext.

Ein weiteres Ding, das das Sternchen verbirgt, ist die Größe des Nenners dahinter, und dieser Nenner ist schmaler als die Datei.

Turnitin sagt, es analysiere nur qualifizierenden Text, den die FAQ wie folgt definiert:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosasätze, das heißt, wir analysieren nur Textblöcke, die in standardsprachlichen Sätzen geschrieben sind, und schließen andere Arten von Schrift wie Listen, Aufzählungspunkte (kurze Nicht-Satz-Strukturen) oder andere Nicht-Satz-Strukturen nicht ein.)

Der nächste Satz:

"This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Ein Dokument, das hauptsächlich aus Listen, Tabellen und einem Literaturverzeichnis besteht, ließ dem Modell also wenig Prosa zum Bewerten. Das Sternchen auf einer solchen Datei sitzt auf einem Nenner, der bereits kleiner war, als das Dokument erscheint. War die verborgene Zahl 8 %, so waren diese 8 % von qualifizierender Prosa, und die qualifizierende Prosa mochte die Hälfte der Datei gewesen sein.

Das ist aus zwei Gründen wichtig. Der Prozentsatz, den der Bericht Ihnen nicht zeigt, ist nicht der Prozentsatz, den Sie beim Lesen des Dokuments vermuten würden. Und die Markierungen, die der Bericht Ihnen nicht gibt, wären der einzige Weg gewesen herauszufinden, was zählte. Ohne die Markierungen ist der Nenner, über den das Sternchen berechnet wurde, ebenfalls unsichtbar. Sie haben ein Symbol, das für eine Zahl steht, die für einen Bruchteil von etwas steht, das Sie von außen nicht messen können.

Die Sternchen-Regel ist eine Anzeigeentscheidung, aber sie sitzt auf einer tieferen Designentscheidung, die in dieselbe Richtung geht. Hier ist Turnitin zu dieser Entscheidung:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Um diese niedrige Rate von 1 % bei falsch-positiven Ergebnissen aufrechtzuerhalten, besteht die Chance, dass wir manchen KI-geschriebenen Text in einem Dokument übersehen. Damit sind wir einverstanden, da wir menschlich geschriebenen Text nicht fälschlicherweise als KI-geschrieben markieren wollen. Wenn wir beispielsweise feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug geschrieben wurden, könnte es bis zu 65 % KI-Schrift enthalten.)

Lesen Sie das neben der Sternchen-Regel. Das Modell neigt dazu, eher weniger zu erwischen als zu viel zu markieren. Die Anzeigeregel nimmt den Bereich, in dem die beiden Fehler am schwersten zu trennen sind, und verzichtet darauf, eine Zahl dafür zu setzen. Das ist dieselbe Richtung. Ein Werkzeug, das lieber KI-Text übersieht, als menschlichen Text zu markieren, ist auch ein Werkzeug, das lieber ein Sternchen zeigt als eine 7 %, für die es nicht einstehen kann.

Die Rate falsch-positiver Ergebnisse, die Turnitin veröffentlicht, ist bezüglich des Geltungsbereichs spezifisch. Aus derselben FAQ:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir streben danach, die Wirksamkeit unseres Detektors zu maximieren und dabei unsere Rate falsch-positiver Ergebnisse – das fälschlicherweise Identifizieren vollständig menschlich geschriebenen Texts als KI-generiert – unter 1 % für Dokumente mit über 20 % KI-Schrift zu halten.)

Der nächste Satz:

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Mit anderen Worten könnten wir für eines von je 100 vollständig menschlich geschriebenen Dokumenten ein menschlich geschriebenes Dokument als KI-geschrieben markieren.)

Der Teilsatz am Ende des ersten Satzes ist derjenige, der zum Sternchen gehört. Das Unter-1 %-Ziel ist für Dokumente mit über 20 % KI-Schrift angegeben. Unterhalb dieser Schwelle ist das Ziel nicht als Zahl gegeben, und die Anzeigeregel ist es, die es beantwortet: Der Bericht bringt einfach keine Werte hervor, für die er nicht einstehen kann. Die 20 %-Grenze in der Sternchen-Regel und die 20 %-Grenze im Ziel für falsch-positive Ergebnisse sind dieselbe Linie.

Ein Sternchen ist ein Ergebnis, das weder leer noch eine Zahl ist und Ihnen keine Passage zum Untersuchen hinterlässt. Das schränkt ein, was sich damit direkt anfangen lässt, aber es hinterlässt nicht nichts.

• Behandeln Sie es nicht als null. Der Bericht hat etwas gefunden. Er hält die Zahl zurück, er verneint keine. Wenn Sie zu einem Sternchen befragt werden, lautet die Frage, was gefunden wurde, nicht, ob überhaupt etwas gefunden wurde.
• Fragen Sie nach dem Erstellungsdatum. Berichte werden nach den Regeln erstellt, die zum Zeitpunkt ihrer Erstellung gelten, und ein Screenshot eines Sternchens ohne Datum sagt Ihnen nichts darüber, welche Regel es erzeugt hat. Dasselbe gilt für andere Berichtszustände: Die Datei ist eine Momentaufnahme, keine Live-Ablesung.
• Fragen Sie, was sonst noch im Bericht steht. Turnitin sagt, dass der Indikator und der Bericht zur KI-Schreib-Erkennung für Studierende nicht sichtbar sind und ein Dozent das PDF herunterladen und teilen muss. Das Sternchen ist ein Eintrag auf einem Dokument, das auch den Similarity Score, Dateiinformationen und Verarbeitungshinweise enthält. Den Rest zu lesen kann klären, ob das, was Sie sehen, aktuell ist und um welchen Bericht es sich handelt.
• Versuchen Sie nicht, zwei Sternchen zu vergleichen. Die Berichte, die verglichen werden können, sind die bei 20 % und darüber, wo sowohl die Zahl als auch die Markierungen sichtbar sind. Zwei Sternchen können unterschiedliche zugrunde liegende Zahlen vertreten, und keiner der Berichte sagt Ihnen, ob das so ist.

Kommt ein Bericht mit 20 % oder höher zurück, ist das der Bereich, in dem der Bericht Ihnen etwas zum Handeln gibt: eine Zahl und markierte Passagen. Eine berichtgeführte Umschreibung importiert diese Passagen als ihren Geltungsbereich, und nur diese Passagen werden angefasst. Wenn ein späterer Bericht weiterhin Passagen markiert, können diese kostenfrei erneut bearbeitet werden. Unter 20 % gibt es keine Markierungen zum Importieren, also stellt sich die Frage nicht.

Nichts davon ist eine Vorhersage. Turnitin hat nie gesagt, wie eine bestimmte Bearbeitung einen Wert bewegen sollte, und die Sternchen-Regel bedeutet, dass unter 20 % niemand eine solche Behauptung prüfen könnte. Was eine berichtgeführte Umschreibung entscheidet, ist, welche Wörter angefasst werden und welche genau so bleiben, wie sie geschrieben wurden.

Heißt das Sternchen, mein Wert ist null? Nein. Das Sternchen deckt den Bereich 1 % bis 19 %. Turnitin sagt "no score or highlights are attributed for AI detection scores in the 1% to 19% range" (für KI-Erkennungsergebnisse im Bereich 1 % bis 19 % werden keine Punktzahl oder Markierungen vergeben) und dass Werte in diesem Bereich "are now indicated with an asterisk (*%) and no percentage is attributed" (nun mit einem Sternchen (*%) angezeigt werden und kein Prozentsatz vergeben wird). Null ist ein eigener Zustand mit eigenem Indikator. Das Sternchen bedeutet, dass etwas gefunden wurde und die Zahl zurückgehalten wird.

Warum zeigt Turnitin ein Sternchen statt einer Zahl? Um falsch-positive Ergebnisse zu vermeiden. Turnitins FAQ sagt "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (Um mögliche falsch-positive Ergebnisse zu vermeiden, werden für KI-Erkennungsergebnisse im Bereich 1 % bis 19 % keine Punktzahl oder Markierungen vergeben.) Werte in diesem Bereich tragen ein höheres Risiko falsch-positiver Ergebnisse, weshalb der Bericht sie nicht hervorbringt.

Kann ich die echte Zahl hinter dem Sternchen herausfinden? Nicht aus dem Bericht. Zahl und Markierungen werden in diesem Bereich beide zurückgehalten. Es gibt keine Möglichkeit, die zugrunde liegende Zahl aus einem aktuellen Bericht mit Sternchen abzulesen.

Kann ich zwei Berichte vergleichen, die beide ein Sternchen zeigen? Nicht sinnvoll. Zwei Sternchen können unterschiedliche zugrunde liegende Werte haben, und keiner der Berichte sagt Ihnen, ob das so ist. Die Berichte, die verglichen werden können, sind die bei 20 % und darüber, wo Zahl und Markierungen beide sichtbar sind.

Heißt das Sternchen, dass der Bericht kaputt ist? Nein. Es ist eine Anzeigeregel, kein Fehler. Ein separates graues Doppelstrich bedeutet, dass die Datei nicht verarbeitet werden konnte, und ein Ausrufezeichen bedeutet, dass die Verarbeitung fehlgeschlagen ist. Das Sternchen bedeutet, dass die Verarbeitung erfolgreich war und etwas gefunden wurde, und das Ergebnis zurückgehalten wird.

Ist 20 % die Grenze, an der das Sternchen aufhört? Ja. Bei 20 % und darüber zeigt der Bericht eine Zahl und markierte Passagen. Unter 20 % ist die einzige genaue Zahl, die der Bericht hervorbringt, 0 %. Alles zwischen 1 % und 19 % ist das Sternchen. Wir haben in ist 20 % KI zu hoch behandelt, was 20 % als Grenze bedeutet.