Erkennt Turnitin Grammarly als KI-Text?

Rechtschreibung, Grammatik und Zeichensetzung: Turnitin sagt, dass solche Korrekturen in Tests „in most cases" (in den meisten Fällen) nicht markiert wurden. Bei den generativen Funktionen von Grammarly liegt der Fall anders, und das sagt Turnitin im selben Absatz: Inhalte, die per Entwurfsgenerierung, Paraphrasierung oder Zusammenfassung „and other features" (und andere Funktionen) entstanden sind, werden „likely be flagged as AI-generated by our detector" (wahrscheinlich von unserem Detektor als KI-generiert markiert). Die Grenze verläuft zwischen dem Korrigieren eines Satzes, den Sie geschrieben haben, und dem Erzeugen eines Satzes, den Sie nicht geschrieben haben.

Hier steht die Antwort im Wortlaut, aus Turnitins FAQ zu den Funktionen zur Erkennung von KI-Texten, denn beinahe jeder Nebensatz darin wird irgendwo falsch wiedergegeben:

"No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector." (Nein. Unser Detektor ist nicht darauf ausgerichtet, von Grammarly erzeugte Änderungen an Rechtschreibung, Grammatik und Zeichensetzung zu erkennen, sondern andere KI-Inhalte, die von LLMs wie GPT-3.5 geschrieben wurden. Grundlage sind Tests, die wir mit von Menschen verfassten Dokumenten ohne KI-generierte Inhalte durchgeführt haben: In den meisten Fällen wurden Änderungen durch Grammarly in der kostenlosen und der Premium-Version und/oder andere Grammatikprüf-Tools von unserem Detektor nicht als KI-geschrieben markiert. Bitte beachten Sie, dass davon Inhalte ausgenommen sind, die von den generativen KI-Funktionen von Grammarly stammen, also Entwurfsgenerierung, Paraphrasierung, Zusammenfassungen und andere Funktionen. Inhalte, die mit diesen Funktionen erstellt wurden, werden wahrscheinlich von unserem Detektor als KI-generiert markiert.)

Drei Dinge, die Sie daraus mitnehmen können und die die Kurzfassung meistens unterschlägt.

„In most cases" (in den meisten Fällen) ist eine echte Einschränkung, keine Floskel. Turnitin beschreibt damit die Ergebnisse eigener Tests mit Dokumenten ohne KI-Inhalte und hat sich bewusst dagegen entschieden, ohne jede Einschränkung „nicht markiert" zu sagen.

Die Liste der Ausnahmen endet mit „and other features" (und andere Funktionen) — und das ist bewusst offen gehalten. Wenn eine Funktion Text schreibt, statt ihn zu korrigieren, sollten Sie davon ausgehen, dass sie auf der generativen Seite liegt, ganz gleich, wie sie in der Oberfläche gerade heißt.

Und „will likely be flagged" (wird wahrscheinlich markiert) ist so deutlich, wie ein Anbieter von Erkennungssoftware überhaupt wird. Das ist keine Warnung vor einem Risiko. Das ist eine Prognose.

Nicht nach Produkt, sondern nach Handlung. Wer einen Kommafehler im eigenen Satz korrigiert, behält den eigenen Satz. Wer ein Tool bittet, den Absatz „verständlicher" zu machen, bekommt einen Absatz zurück, den das Tool verfasst hat. Beides steckt im selben Abonnement — und genau deshalb taucht die Frage immer wieder auf.

Unangenehm wird es bei den Umschreibevorschlägen, die als ein einziger, freundlich beschrifteter Button daherkommen. Wenn Sie ein Dutzend davon in einem Diskussionsteil angenommen haben, stammt die eingereichte Prosa teilweise von einem Modell — ob Sie das nun als Bearbeiten empfunden haben oder nicht.

Turnitins Antwort oben betrifft das, worauf der Detektor ausgerichtet ist. Sie ist keine Garantie für Ihr Dokument, und dieselbe FAQ benennt die Texteigenschaften, die bei den eigenen Fehlalarmen auftauchen:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können Fehlalarme, also das irrtümliche Markieren von menschlich verfasstem Text als KI-generiert, Inhalte betreffen, die wenig strukturelle Abwechslung aufweisen, Text, der sich wörtlich wiederholt, oder Text, der umformuliert wurde, ohne neue Ideen zu entwickeln.)

Lesen Sie den Satz danach, den fast niemand zitiert: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator bei einem solchen Text einen höheren Anteil an KI-Text anzeigt, raten wir Ihnen, das zu berücksichtigen, wenn Sie den angezeigten Prozentsatz betrachten.) Das ist der Anbieter, der Lehrende auffordert, einen hohen Wert bei Text dieser Form anders zu gewichten — ein Satz, den Sie griffbereit haben sollten.

Stellen Sie diese beiden Fakten jetzt nebeneinander. Intensives zeilenweises Bearbeiten, mit welchem Werkzeug auch immer und auch von einer sorgfältigen Hand, neigt dazu, die strukturelle Abwechslung aus einem Entwurf herauszuglätten. Das ist unsere Lesart und keine Aussage von Turnitin, aber es ist der Mechanismus, der erklären würde, dass eine grammatisch saubere Arbeit mit einer Zahl zurückkommt — und er weist auf eine Verteidigung hin, die Sie tatsächlich führen können: Bringen Sie die früheren, groberen Entwürfe mit.

Wenn Ihre Institution zusätzlich eine Autorschaftsfunktion aktiviert hat, lesen Sie deren Ergebnis nicht als zweite Meinung zur KI-Frage. Turnitins FAQ beschreibt das eigene Produkt Authorship so: Es „uses metadata as well as forensic language analysis to detect if the submitted assignment was written by someone other than the student" (nutzt Metadaten ebenso wie forensische Sprachanalyse, um zu erkennen, ob die eingereichte Arbeit von jemand anderem als dem Studierenden geschrieben wurde), und „it will not be able to indicate if it was AI written; only that the content is not the student's own work" (sie kann nicht anzeigen, ob der Text KI-generiert ist; nur, dass der Inhalt nicht das eigene Werk des Studierenden ist).

Herkunftsnachweis und KI-Wahrscheinlichkeit sind zwei verschiedene Aussagen über Ihr Dokument. Alles, was festhält, wie eine Datei entstanden ist, beantwortet die Frage, die ein Detektor nicht beantworten kann — und deshalb ist der Entstehungsnachweis weiter unten mehr wert, als er aussieht.

Behalten Sie den Entstehungsnachweis, statt Ihre Gewohnheiten aus Angst zu ändern. Versionsverlauf, datierte Dateien, der unfertige zweite Entwurf mit dem Absatz, den Sie später gestrichen haben. Diese Belege liegen außerhalb der Debatte darüber, was ein Prozentwert bedeutet, und genau deshalb halten sie stand (wie Sie ihn in Word, Google Docs und Overleaf aufbewahren).

Wenn Sie schon markiert wurden, ist der erste Schritt, den Bericht zu lesen, und nicht, die Arbeit umzuschreiben (was zu tun ist, wenn Sie sie selbst geschrieben haben).

Sollte ich Grammarly vor dem Einreichen ausschalten? Die erklärte Position von Turnitin lautet, dass der Detektor nicht darauf ausgerichtet ist, Änderungen an Rechtschreibung, Grammatik und Zeichensetzung zu erkennen. Die generativen Funktionen abzuschalten ist der Teil, der dem entspricht, was die FAQ tatsächlich sagt.

Gilt das auch für andere Grammatikprüfungen? Im Zitat heißt es „Grammarly (free & premium) and/or other grammar-checking tools" (Grammarly in der kostenlosen und der Premium-Version und/oder andere Grammatikprüf-Tools), die getestete Aussage ist also breiter als ein einzelnes Produkt. Für die generativen Ausnahmen gilt dieselbe Logik: Eine Funktion, die Text schreibt, ist keine Grammatikprüfung.

Meine Universität sagt, die Nutzung von Grammarly sei in Ordnung. Ist das dasselbe wie nicht markiert zu werden? Nein, und beides sollten Sie auseinanderhalten. Eine Richtlinie betrifft die Erlaubnis. Ein Detektorergebnis ist eine Statistik. Sie können sich vollständig innerhalb der Richtlinie bewegen und trotzdem einen Bericht mit einer Zahl darauf in der Hand halten.

Weiß der Detektor, welches Werkzeug meine Datei angefasst hat? Er gibt keines an. Turnitin beschreibt das Modell so, dass es Abschnitte danach einordnet, mit welcher Wahrscheinlichkeit ein Text von einem Menschen oder von einer KI stammt (mehr dazu, was diese Messgröße eigentlich ist).