Kann ein Text mit 100 % KI-Score von Turnitin trotzdem selbst geschrieben sein?

Ja, ein vollständig selbst geschriebener Text kann durchaus einen KI-Score von 100 % bekommen. In der eigenen Dokumentation von Turnitin heißt es, das Modell "may not always be accurate" („kann nicht immer zutreffend sein") und der KI-Schreibindikator "should not be used as the sole basis for action." („sollte nicht als alleinige Grundlage für eine Maßnahme herangezogen werden"). Die FAQ nennen außerdem bestimmte Textmerkmale, die anfällig für Fehlalarme sind: Inhalte mit wenig struktureller Abwechslung, Text, der sich selbst wiederholt, und Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln. Ein Wert von 100 % heißt nicht, dass der Detektor sicher weiß, dass Sie KI benutzt haben. Er heißt, dass die Einstufung Ihrer Textabschnitte durch das Modell Wahrscheinlichkeitswerte ergab, die zusammengerechnet 100 % erreichten. Ob das Ergebnis stimmt, hängt von Faktoren ab, die der Wert selbst nicht verrät.

In den FAQ von Turnitin heißt es:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." („Wir müssen daher betonen, dass der Prozentwert des KI-Schreibindikators nicht als alleinige Grundlage für eine Maßnahme oder als endgültige Bewertungsgrundlage durch Lehrkräfte herangezogen werden sollte.")

Ein anderer Hilfe-Artikel sagt es deutlicher:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." („Unser Modell zur Erkennung von KI-Texten kann nicht immer zutreffend sein (es kann von Menschen geschriebenen, KI-generierten und KI-umformulierten Text falsch einordnen), daher sollte es nicht als alleinige Grundlage für nachteilige Maßnahmen gegen eine Studierende oder einen Studierenden herangezogen werden.")

Der nächste Satz in diesem Artikel: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." („Es bedarf weiterer Prüfung und menschlichen Urteilsvermögens, zusammen mit der Anwendung der jeweiligen akademischen Richtlinien der Institution, um festzustellen, ob ein akademisches Fehlverhalten vorliegt.")

Turnitin stellt außerdem eine Seite mit Orientierungshilfen für Lehrkräfte bereit, auf der der Score als eine von mehreren Informationsquellen eingeordnet wird:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." („Sie soll für sich allein genommen keine endgültigen Antworten liefern. Wichtiger als jedes Werkzeug ist die Lehrkraft, die den Score sieht und Entscheidungen trifft, indem sie diese Information gegen ihre persönliche Kenntnis ihrer Studierenden, deren Arbeiten und die Richtlinien der Institution abwägt.")

Zusammengenommen sagen diese Aussagen drei Dinge: Das Modell kann sich irren. Der Score ist ein einzelner Datenpunkt, kein endgültiges Urteil. Und ob tatsächlich ein Fehlverhalten vorliegt, lässt sich nur mit menschlichem Urteilsvermögen klären, das über den Score hinausgeht.

In den FAQ von Turnitin werden bestimmte Textmerkmale genannt, die Fehlalarme auslösen können:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." („Manchmal können Fehlalarme (also das fälschliche Kennzeichnen von menschlich geschriebenem Text als KI-generiert) Inhalte ohne große strukturelle Abwechslung betreffen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Gedanken zu entwickeln.")

Der darauffolgende Satz: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." („Wenn unser Indikator bei einem solchen Text einen höheren Anteil an KI-Text anzeigt, empfehlen wir Ihnen, dies bei der Betrachtung des angezeigten Prozentwerts zu berücksichtigen.")

An diesem Satz ist etwas Entscheidendes dran: Turnitin sagt Lehrenden, dass ein hoher Score bei bestimmten Textarten mit Vorsicht zu betrachten ist. Wenn Ihr Text einen gleichförmigen Satzbau hat, Formulierungen wiederholt oder umformuliert, ohne neue Analyse hinzuzufügen, weist er Merkmale auf, von denen Turnitin selbst sagt, dass sie anfällig für Fehlalarme sind. Das beweist nicht, dass Ihr Score falsch ist. Aber es liefert Ihnen eine konkrete Erklärung dafür, warum ein selbst geschriebener Text auf 100 % kommen kann.

Auch die Länge des Dokuments spielt eine Rolle. Die FAQ von Turnitin beschreiben ein bestimmtes Verhalten bei kurzen Einreichungen:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." („Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als ‚Alles oder Nichts' aus, weil wir die Vorhersage für ein einzelnes Segment treffen und keine Möglichkeit zur Überlappung haben.")

Der nächste Satz: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." („Das bedeutet, dass mancher Text, der eine Mischung aus KI-generierten und eigenen Inhalten ist, als vollständig KI-generiert gekennzeichnet werden kann.")

Ein Versionshinweis vom Dezember 2023 ergänzt: "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." („Die Ergebnisse zeigen, dass unsere Treffsicherheit mit etwas mehr Text zunimmt, sodass Einreichungen mit weniger als 300 Wörtern zu einem KI-Schreib-Score führen können, der wahrscheinlich weniger zutreffend ist.")

Ist Ihr Dokument kurz, steckt hinter einem Wert von 100 % eher ein Artefakt der Alles-oder-Nichts-Klassifizierung als eine präzise Messung. Dem Detektor stehen weniger Segmente zur Verfügung, es gibt weniger Möglichkeit zur Überlappung und weniger Daten, über die sich mitteln ließe. Ein paar hundert selbst geschriebene Wörter, die zufällig statistische Muster mit KI-generierter Prosa teilen, können komplett als KI markiert werden. Wie das auf Segmentebene funktioniert, lesen Sie unter warum Turnitin Ihre Arbeit für 100 % KI hält.

Die FAQ von Turnitin räumen beim Umgang mit Fehlalarmen einen bewussten Zielkonflikt ein:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." („Um diese niedrige Fehlalarmrate von 1 % zu halten, besteht die Möglichkeit, dass wir in einem Dokument etwas KI-geschriebenen Text übersehen. Damit können wir leben, denn wir wollen von Menschen geschriebenen Text nicht fälschlich als KI-geschrieben kennzeichnen. Wenn wir zum Beispiel feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug stammen, könnten in Wahrheit bis zu 65 % KI-Text darin stecken.")

Die Richtung ist klar: Turnitin nimmt lieber in Kauf, KI-Text zu übersehen, als einen Menschen fälschlich zu beschuldigen. Doch der umgekehrte Fehler – selbst geschriebener Text, der fälschlich als KI markiert wird – kommt weiterhin vor, und zwar mit einer Rate, die das Unternehmen bei Dokumenten mit mehr als 20 % KI-Text mit unter 1 % angibt. Diese Rate ist nicht null. In einem Kurs mit 200 Studierenden, die alle vollständig selbst geschriebene Arbeiten einreichen, könnte nach dem eigenen Zielwert des Unternehmens eine oder zwei Arbeiten eine KI-Kennzeichnung erhalten. Was eine Fehlalarmrate von 1 % bedeutet, wenn eine Universität 75.000 Arbeiten einreicht rechnet das für große Zahlen durch.

Zum Abschluss das Wichtigste in Kürze:

• In der eigenen Dokumentation von Turnitin heißt es, das Modell "may not always be accurate" („kann nicht immer zutreffend sein") und der Score solle nicht "as the sole basis for action." („als alleinige Grundlage für eine Maßnahme") verwendet werden.
• Bestimmte Textarten sind anfällig für Fehlalarme: geringe strukturelle Abwechslung, Wiederholungen und Umformulierungen ohne neue Gedanken.
• Kurze Dokumente (ein paar hundert Wörter) unterliegen Alles-oder-Nichts-Vorhersagen und sind womöglich weniger zutreffend.
• Der offizielle Zielwert für Fehlalarme liegt für Dokumente mit mehr als 20 % KI-Text bei unter 1 %, und das ist nicht null.
• Turnitin rät Lehrenden, den Score als einen einzelnen Datenpunkt zu behandeln und nicht als endgültige Antwort.

Haben Sie einen Wert von 100 % erhalten und den Text selbst geschrieben, haben Sie eine Grundlage für ein Gespräch mit Ihrer Lehrkraft – und wie Sie sich darauf vorbereiten, steht in markiert, aber selbst geschrieben. Die offiziellen Hinweise liefern Ihnen konkrete Formulierungen dafür. Haben Sie einen Turnitin-Bericht und möchten an den markierten Passagen arbeiten, importieren Sie den Bericht und gehen Sie sie direkt an. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.