Was ist der „qualifizierende Text" bei der KI-Erkennung von Turnitin? Eine ausführliche Erklärung

Das KI-Erkennungsmodell von Turnitin untersucht nicht jedes Wort eines Dokuments. Es arbeitet nur mit einer bestimmten Teilmenge des Textes, dem sogenannten „qualifizierenden Text". Die Dokumentation definiert das eindeutig.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosasätze; das heißt, wir analysieren ausschließlich Textblöcke, die in standardsprachlichen grammatikalischen Sätzen verfasst sind und keine anderen Textarten wie Listen, Aufzählungspunkte (kurze Strukturen ohne Satzform) oder sonstige satzfreie Strukturen enthalten.)

Das Modell sucht also nach Prosa: Textblöcke, die in standardsprachlichen grammatikalischen Sätzen aufgebaut sind. Alles, was diese Hürde nicht nimmt, bleibt bei der Analyse unberücksichtigt. Aufzählungspunkte, nummerierte Listen, Tabellenüberschriften, die keine vollständigen Sätze sind, und andere Strukturen ohne Prosaform fallen nicht in den Erfassungsbereich der KI-Erkennung.

Die Dokumentation des Modells räumt diese Einschränkung selbst ein: "The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Das Modell erkennt KI-generierten Text in Form von Nicht-Prosa oder Code nicht zuverlässig und ebenso wenig Kurzformen oder unkonventionelles Schreiben wie Aufzählungspunkte (kurze Strukturen ohne Satzform).)

Enthält ein Dokument viele Listen und wenig Prosa, hat das KI-Erkennungsmodell weniger Material, mit dem es arbeiten kann, und der ausgewiesene Wert spiegelt nur die Prosaanteile wider. Auch nach unten gibt es eine Grenze: Die Dateianforderungen verlangen mindestens 300 Wörter Prosa, bevor überhaupt ein Bericht erstellt wird – worauf kann Turnitin eine ganze Abschlussarbeit prüfen näher eingeht.

Einer der verwirrendsten Punkte am KI-Erkennungsbericht von Turnitin: Der Prozentwert und die markierten Stellen scheinen mitunter Unterschiedliches zu sagen. Die Dokumentation erklärt, warum das so ist.

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Das bedeutet, dass ein Dokument mit mehreren verschiedenen Textarten zu einer Abweichung zwischen dem Prozentwert und den Markierungen führt.)

"This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Besteht Ihr Dokument zu 50 % aus Prosa und zu 50 % aus Aufzählungspunkten und stuft das KI-Erkennungsmodell 40 % der Prosa als KI-generiert ein, kann der Bericht einen KI-Wert von 40 % ausweisen. Diese 40 % beziehen sich aber auf die qualifizierende Prosa, nicht auf das gesamte Dokument. Wer den Bericht liest, ohne das zu wissen, könnte annehmen, die gesamte Einreichung sei zu 40 % KI-generiert – dabei ist der tatsächliche Anteil am Gesamtdokument geringer.

Diese Abweichung ist kein Fehler. Sie folgt aus dem Erfassungsbereich des Modells. Wenn Sie sie verstehen, lesen Sie den Bericht genauer – und wie sich ein Turnitin-Bericht zur KI-Schreibweise liest führt Sie durch den Rest der Seite.

Um zu verstehen, warum der qualifizierende Text entscheidend ist, hilft ein Blick darauf, was das Modell damit macht. Die Dokumentation beschreibt den Ablauf:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text eher von einem Menschen oder von einer KI stammt.)

Das Modell extrahiert also Sätze, unterteilt sie in überlappende Abschnitte und klassifiziert jeden Abschnitt. Jeder Abschnitt erhält einen Wahrscheinlichkeitswert zwischen 0 und 1. Durch diesen Ablauf laufen ausschließlich qualifizierende Prosasätze. Inhalte ohne Prosaform werden weder unterteilt noch bewertet, weil das Modell sie nicht als analysierbaren Text behandelt.

Deshalb bestimmt der Umfang des „qualifizierenden Textes" unmittelbar, wofür der Prozentwert steht. Der Wert ist eine Zusammenfassung der Wahrscheinlichkeiten auf Abschnittsebene, und in diese Zusammenfassung gehen nur qualifizierende Prosasätze ein.

Zwei bestimmte Inhaltsarten haben ihre eigenen Regeln.

Tabellen: "We are now able to process long-form prose text in tables." (Wir können nun längere Prosa in Tabellen verarbeiten.) Prosa in Tabellenzellen zählt also zum qualifizierenden Text, sofern sie in standardsprachlichen grammatikalischen Sätzen verfasst ist. Reichen Sie vorhandene Einreichungen mit Tabellen erneut ein, damit sie neu verarbeitet werden. Haben Sie ein Dokument mit substanzieller Prosa in Tabellen, das vor dieser Aktualisierung eingereicht wurde, spiegelt der KI-Wert die Tabelleninhalte womöglich nicht wider, bis Sie es erneut einreichen.

Literaturverzeichnisse: "We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Wir haben einen Fehler behoben, durch den gelegentlich KI-Schreibweise in Literaturangaben eines Literaturverzeichnisses markiert wurde. Literaturverzeichnisse werden bei der Verarbeitung des Berichts zur KI-Schreibweise nun ausgeschlossen.) Reichen Sie vorhandene Einreichungen mit markierten Literaturabschnitten erneut ein, damit sie neu verarbeitet werden. Zeigte Ihr früherer Bericht markierten Text in Ihrem Literaturverzeichnis, war das ein Fehler; nach erneutem Einreichen werden diese Abschnitte von der Analyse ausgenommen. Warum markiert Turnitin meine Literaturangaben und Zitate? behandelt, wie weit die Ausnahmen auf der Ähnlichkeitsseite reichen.

Diese beiden Regeln zeigen: Die Definition des qualifizierenden Textes ist nicht in Stein gemeißelt. Sie wurde nachgeschärft, um Prosa in Tabellen einzubeziehen und Literaturverzeichnisse auszuschließen – ein Grund, warum sich Ihr Turnitin-KI-Wert bei erneuter Einreichung ändern kann, ohne dass sich der Text ändert.

Auch innerhalb der qualifizierenden Prosa sind bestimmte Schreibweisen anfälliger für Fehlalarme. Die Dokumentation benennt konkrete Muster.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Fehlalarme – also das irrtümliche Markieren von menschlich verfasstem Text als KI-generiert – können Inhalte betreffen, die wenig strukturelle Abwechslung aufweisen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln.)

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator bei einem solchen Text einen höheren Anteil an KI-Schreibweise anzeigt, empfehlen wir Ihnen, das bei der Betrachtung des ausgewiesenen Prozentsatzes zu berücksichtigen.)

Ist Ihre Prosa also strukturell monoton, wiederholt dieselben Formulierungen oder ist umformuliert, ohne neue Ideen hinzuzufügen, kann das Modell sie als KI-generiert markieren, obwohl sie von einem Menschen stammt. Das ist kein Versagen des Filters für qualifizierenden Text, sondern was KI-Detektoren messen, das genau das tut, wofür es trainiert wurde. Es ist ein eigener Problemkreis innerhalb der Prosa, die tatsächlich in die Analyse eingeht.

Wenn Sie verstehen wollen, warum Ihr Turnitin-Bericht zur KI-Schreibweise so aussieht, wie er aussieht, hier die Zusammenfassung:

• Nur Prosasätze zählen. Listen, Aufzählungspunkte und Strukturen ohne Satzform werden nicht analysiert. Das Modell konzentriert sich auf standardsprachliche grammatikalische Sätze.
• Der Prozentsatz bezieht sich nur auf die qualifizierende Prosa. Er ist nicht der Anteil an der gesamten Einreichung. Dadurch entsteht die Abweichung zwischen der Zahl und den Markierungen.
• Prosa in Tabellen wird nun verarbeitet. Längere Prosa in Tabellen gilt als qualifizierender Text. Reichen Sie vorhandene Einreichungen mit Tabellen erneut ein, damit sie neu verarbeitet werden.
• Literaturverzeichnisse sind ausgeschlossen. Ein Fehler, durch den Literaturangaben markiert wurden, ist behoben. Reichen Sie vorhandene Einreichungen mit markierten Literaturabschnitten erneut ein, damit sie neu verarbeitet werden.
• Achten Sie auf Fehlalarme. Strukturell flache, sich wiederholende oder umformulierte Prosa wird eher markiert. Berücksichtigen Sie das, wenn Sie den Prozentsatz lesen.

Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.