KI-unterstützt oder KI-generiert: Wie Turnitin beide Fälle behandelt

Die KI-Erkennung von Turnitin verfolgt nicht, wie Sie geschrieben haben. Sie weiß nicht, ob Sie von Hand formuliert, diktiert oder zwischendurch ein Werkzeug benutzt haben. Sie bewertet den Text, den Sie einreichen.

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.“ (Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, mit der der Text von einem Menschen oder von einer KI stammt.)

Das Modell zieht die Sätze aus dem fertigen Dokument, unterteilt sie in Abschnitte und bewertet jeden Abschnitt. Es hat keinen Zugriff auf die Versionshistorie, auf Bearbeitungszeitstempel oder auf Protokolle darüber, welche Werkzeuge benutzt wurden – genau deshalb sollten Sie diese Nachweise selbst aufbewahren, wie in wie Sie beweisen, dass Sie keine KI benutzt haben beschrieben. Das Modell arbeitet mit dem, was im Moment der Einreichung auf der Seite steht.

Das heißt: Der Unterschied zwischen „ich habe das mit Hilfe geschrieben“ und „das wurde für mich generiert“ ist für das Modell nicht direkt beobachtbar. Es klassifiziert Text anhand statistischer Muster im fertigen Ergebnis.

Was genau analysiert wird, ist ebenfalls festgelegt: „This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.“ (Dieser qualifizierende Text umfasst nur Prosa-Sätze, das heißt, wir analysieren ausschließlich Textblöcke, die in standardsprachlichen grammatikalischen Sätzen verfasst sind, und keine anderen Textarten wie Listen, Aufzählungspunkte (kurze Strukturen, die keine Sätze sind) oder andere Nicht-Satz-Strukturen.) Und: „This percentage is not necessarily the percentage of the entire submission.“ (Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Viele Studierende nutzen Grammarly oder ähnliche Werkzeuge, um Rechtschreibung und Grammatik zu korrigieren. Die Frage ist, ob diese Korrekturen dazu führen, dass der Text als KI-generiert markiert wird. Die Dokumentation von Turnitin beantwortet das direkt.

„Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector.“ (Unser Detektor ist nicht darauf ausgelegt, von Grammarly erzeugte Änderungen an Rechtschreibung, Grammatik und Zeichensetzung aufzuspüren, sondern andere KI-Inhalte, die von LLMs wie GPT-3.5 stammen. Nach Tests, die wir mit von Menschen verfassten Dokumenten ohne KI-generierte Inhalte durchgeführt haben, wurden Änderungen durch Grammarly (kostenlos und Premium) und/oder andere Grammatikprüfungs-Werkzeuge in den meisten Fällen nicht als KI-geschrieben markiert.)

Die entscheidende Formulierung lautet „in most cases.“ (in den meisten Fällen). Der Detektor ist nicht darauf ausgelegt, Rechtschreib- und Grammatikkorrekturen zu erwischen. In den meisten Fällen wird ein Text, den ein Mensch geschrieben und dann mit Grammarly aufgeräumt hat, nicht markiert. Das gilt sowohl für die kostenlose als auch für die Premium-Version von Grammarly und ebenso für andere Grammatikprüfungs-Werkzeuge. Erkennt Turnitin Grammarly als KI-Text? geht die Formulierung des Anbieters Satz für Satz durch.

Das bedeutet nicht, dass grammatikalisch bearbeiteter Text für den Detektor unsichtbar wäre. Es bedeutet, dass der Detektor nicht dafür gebaut ist, genau diese Art von Änderung zu erkennen. Der fertige Prosatext wird weiterhin auf KI-typische statistische Muster untersucht. Aber der bloße Einsatz von Grammarly für Rechtschreibung und Grammatik führt in den meisten Fällen für sich allein nicht zu einer Markierung.

Die Dokumentation zieht eine klare Grenze zwischen den Korrekturfunktionen von Grammarly und seinen generativen Funktionen. Diese Ausnahme erstreckt sich nicht auf Inhalte, die von generativen KI-Werkzeugen erzeugt wurden.

„Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.“ (Bitte beachten Sie, dass dies keine Inhalte einschließt, die von den generativen KI-Funktionen von Grammarly erzeugt wurden, darunter das Erstellen von Entwürfen, das Umformulieren, das Zusammenfassen und weitere Funktionen. Inhalte, die mit diesen Funktionen erstellt wurden, werden von unserem Detektor wahrscheinlich als KI-generiert markiert.)

Es gibt also zwei Kategorien. Auf der einen Seite: Korrekturen an Rechtschreibung, Grammatik und Zeichensetzung. Diese werden vom Detektor nicht gezielt gesucht und in den meisten Fällen nicht markiert. Auf der anderen Seite: das Erstellen von Entwürfen, das Umformulieren, das Zusammenfassen und andere generative Funktionen. Inhalte, die mit diesen Funktionen erstellt wurden, werden wahrscheinlich als KI-generiert markiert.

Der Unterschied ist entscheidend. Wenn Sie Grammarly benutzt haben, um Tippfehler zu korrigieren und die Grammatik zu straffen, ist der Detektor nicht darauf ausgelegt, das zu erfassen. Wenn Sie Grammarly benutzt haben, um einen Entwurf zu generieren, eine Passage umzuformulieren oder eine Quelle zusammenzufassen, wird dieses Ergebnis wie jeder andere KI-generierte Inhalt behandelt und wahrscheinlich markiert.

Diese Grenze richtet sich danach, was die Funktionen erzeugen, nicht nach dem Markennamen. Eine generative Funktion irgendeines Werkzeugs – nicht nur von Grammarly – fällt auf die Seite „will likely be flagged“ (wird wahrscheinlich markiert). Eine Rechtschreib- oder Grammatikkorrektur irgendeines Werkzeugs fällt auf die Seite „not tuned to target“ (nicht darauf ausgelegt, sie zu erfassen). Auf welcher Seite Sie landen, entscheidet auch darüber, was Sie angeben müssen – darum geht es in ob sich durch ein Umformulierungs-Werkzeug ändert, was Sie angeben müssen.

Auch wenn keine KI im Spiel war, können bestimmte Arten von menschlich verfasster Prosa Fehlalarme auslösen. Die Dokumentation listet konkrete Muster auf, auf die man achten sollte.

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.“ (Manchmal können falsch positive Ergebnisse – wenn von Menschen geschriebener Text irrtümlich als KI-generiert markiert wird – Inhalte betreffen, die wenig strukturelle Abwechslung aufweisen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Ideen zu entwickeln.)

„If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.“ (Wenn unser Indikator bei einem solchen Text einen höheren Anteil an KI-Text anzeigt, empfehlen wir Ihnen, das bei der Betrachtung des angezeigten Prozentsatzes zu berücksichtigen.)

Wenn Ihr Text also strukturell flach ist, dieselben Formulierungen wiederholt oder umformuliert, ohne neue Ideen hinzuzufügen, kann das Modell ihn markieren, selbst wenn er vollständig von einem Menschen stammt. Das ist für die Unterscheidung zwischen KI-unterstützt und KI-generiert wichtig: Wer seinen eigenen Text schreibt, aber stark umformuliert, kann eine Markierung sehen, die überhaupt nichts mit dem Einsatz eines Werkzeugs zu tun hat. Ich habe KI-Text mit einer anderen KI umformuliert und Turnitin hat ihn trotzdem markiert ist das andere Ende desselben Effekts.

In der Dokumentation von Turnitin steht ausdrücklich, dass das Ergebnis der KI-Erkennung nicht als eindeutiger Beweis für ein Fehlverhalten behandelt werden soll.

„Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.“ (Unser Modell zur Erkennung von KI-Texten ist nicht immer zutreffend – es kann von Menschen geschriebenen, KI-generierten und KI-umformulierten Text falsch einordnen – und sollte daher nicht als alleinige Grundlage für nachteilige Maßnahmen gegen eine Studentin oder einen Studenten verwendet werden.)

„It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.“ (Es bedarf einer weiteren Prüfung und menschlichen Urteils, zusammen mit der Anwendung der jeweils geltenden akademischen Richtlinien der Institution, um festzustellen, ob ein akademisches Fehlverhalten vorliegt.)

Der Score ist ein Informationsstück unter mehreren. Er verlangt eine weitere Prüfung und menschliches Urteil, angewandt im Rahmen der spezifischen akademischen Richtlinien der Institution. Das Modell kann Text in beide Richtungen falsch einordnen: Es kann menschlichen Text als KI-Text markieren oder KI-Text vollständig übersehen. Den Prozentsatz als alleinige Grundlage zu behandeln, würde der eigenen Empfehlung der Dokumentation widersprechen. Wenn Sie selbst den markierten Bericht in der Hand halten, beschreibt markiert, obwohl Sie ihn selbst geschrieben haben, wie Sie das einer Prüferin oder einem Prüfer vorlegen.

Wenn Sie verstehen wollen, wie Turnitin KI-unterstütztes Schreiben von KI-generiertem Schreiben unterscheidet, hier die Zusammenfassung:

• Das Modell sieht den fertigen Text. Es verfolgt nicht, wie Sie geschrieben haben. Es unterteilt die Prosa-Sätze des eingereichten Dokuments in Abschnitte und bewertet sie.
• Korrekturen an Rechtschreibung und Grammatik sind etwas anderes. Der Detektor ist nicht darauf ausgelegt, Korrekturen an Rechtschreibung, Grammatik und Zeichensetzung nach Grammarly-Art zu erfassen. In den meisten Fällen werden sie nicht markiert.
• Generative Funktionen werden wahrscheinlich markiert. Inhalte aus der Entwurfserstellung, dem Umformulieren, dem Zusammenfassen und anderen generativen Funktionen von Grammarly gelten als KI-generiert und werden wahrscheinlich markiert.
• Fehlalarme kommen vor. Strukturell flache, sich wiederholende oder umformulierte Prosa wird eher markiert, selbst wenn keine KI beteiligt war.
• Der Score ist keine alleinige Grundlage. Die Dokumentation sagt, er solle nicht als alleinige Grundlage für nachteilige Maßnahmen gegen Studierende verwendet werden. Menschliches Urteil und die Richtlinien der Institution sind maßgeblich.

Für Passagen, die die Voraussetzungen erfüllen, ist ein erneuter Durchlauf kostenlos.