Erkennt Turnitin Texte von Mistral AI? Was die Dokumentation dazu sagt

Turnitin pflegt eine veröffentlichte Liste der Modelle, deren Ausgaben das Modell zur Erkennung von KI-Texten identifizieren kann. Darauf stehen GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok, o1-mini sowie Werkzeuge, die auf diesen LLMs aufbauen. LLaMA steht aus demselben Grund neben Mistral: Beide sind Open-Weight-Modelle, und ob Turnitin LLaMA erkennt führt dieselbe Lesart durch. Die Formulierung ist eindeutig: Das Modell zur Erkennung von KI-Texten in englischen Einreichungen kann Inhalte aus diesen Modellen erkennen.

Die Dokumentation merkt außerdem an: „We will continue to expand our detection capabilities to other models in the future." (Wir werden unsere Erkennungsfähigkeiten künftig auch auf weitere Modelle ausweiten.) Die Liste ist also nicht festgeschrieben. Sie wächst, wenn neue Modelle herauskommen und das Erkennungssystem aktualisiert wird, um deren Ausgaben zu erkennen.

Speziell für Mistral lautet die Antwort auf die Frage „Erkennt Turnitin das?" ja, das Modell steht auf der Liste. Was „erkennen" in der Praxis bedeutet, ist allerdings ein Vorgang mit mehr Zwischenschritten.

Wenn Sie verstehen, was beim Einreichen eines Dokuments passiert, erklärt das, warum die Ergebnisse so aussehen, wie sie aussehen. So beschreibt Turnitin den Mechanismus:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Abschnitte übernimmt die Wertung des Abschnitts. Da sich die Abschnitte überlappen, können manche Sätze mehrere Wertungen haben, die dann zu einer einzigen Wertung zusammengefasst werden. Diese Satzwertungen werden weiter aggregiert und daraus der KI-Schreibwert des gesamten Dokuments berechnet.)

Das System sucht nicht nach einem einzelnen verräterischen Merkmal. Es unterteilt Ihren Text in Abschnitte, bewertet jeden Abschnitt nach seiner KI-Wahrscheinlichkeit, fasst überlappende Satzwertungen zusammen und führt alles zu einem Prozentwert für das gesamte Dokument zusammen.

Die Dokumentation sagt auch ausdrücklich, was das Modell nicht tut. Es stützt sich nicht auf namentlich bekannte Metriken wie Burstiness oder Perplexity, ein Dementi, das wir in ob Turnitin Perplexity und Burstiness nutzt, um KI zu erkennen auseinandernehmen: „Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'burstiness,' 'perplexity,' oder andere einzelne Metriken zu bewerten, die in öffentlichen Diskussionen gelegentlich genannt werden.) Stattdessen lernt das Modell statistische Muster aus den Trainingsdaten. Die Klassifikatoren sind darauf trainiert, Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und kennen die für menschliche Schreibende typischen Folgen von Wortwahrscheinlichkeiten gut.

Das heißt: Die Erkennung ist wahrscheinlichkeitsbasiert, nicht deterministisch. Der Wert gibt an, wie sicher das Modell ist, dass ein Text Mustern von KI-Texten ähnelt, und kein hartes Urteil in schwarz oder weiß.

Auf der Liste der erkennbaren Modelle zu stehen heißt nicht, dass jeder KI-generierte Satz auffällt. Turnitin legt den Schwerpunkt darauf, falsch positive Ergebnisse niedrig zu halten, und dieser Kompromiss hat auf der anderen Seite einen Preis.

„In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Um diese niedrige Rate von 1 % bei falsch positiven Ergebnissen zu halten, kann es sein, dass wir in einem Dokument etwas KI-geschriebenen Text übersehen. Damit können wir leben, denn wir wollen keinen von Menschen geschriebenen Text fälschlich als KI-geschrieben markieren. Wenn wir etwa feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug stammen, kann der tatsächliche KI-Anteil bei bis zu 65 % liegen.)

Ein Dokument mit Mistral-generiertem Text kann also einen niedrigeren Wert erhalten, als dem tatsächlichen KI-Anteil entspricht. Der Detektor mag 50 % als KI-geschrieben einstufen, wenn der wahre Anteil eher bei 65 % liegt. Das ist so gewollt: Das System neigt dazu, menschlichen Text nicht zu markieren, und das bedeutet, dass ein Teil des KI-Textes unmarkiert durchläuft.

Diese Lücke ist wichtig, wenn Sie verstehen wollen, warum ein Dokument mit bekanntem KI-Anteil einen niedrigeren Wert bekommen hat als erwartet. Die Rechnung hinter diesem 1-%-Ziel wird in was eine Fehlerrate von 1 % bei falsch positiven Ergebnissen bedeutet Schritt für Schritt durchgerechnet.

Das Modell, das Mistral-Texte heute erkennt, ist nicht zwangsläufig dasselbe Modell, das nächsten Monat läuft. Die Dokumentation von Turnitin räumt das ein:

„As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (Wenn wir unser Modell weiterentwickeln und verbessern, um neuere LLMs besser zu erkennen, werden sich mit hoher Wahrscheinlichkeit auch unsere Erkennungsfähigkeiten ändern, und das wirkt sich auf den KI-Prozentwert aus. Für ein bereits eingereichtes Dokument ändert sich der KI-Prozentwert jedoch nur dann, wenn es erneut eingereicht und verarbeitet wird.)

Daraus folgen zwei praktische Dinge. Erstens: Dasselbe Dokument kann unterschiedliche Werte bekommen, wenn es nach einer Modellaktualisierung erneut eingereicht wird; deshalb ist der Vergleich zweier Berichte aussagekräftiger als der Vergleich zweier Werte. Zweitens: Sobald ein Dokument verarbeitet wurde, bleibt der gemeldete Wert fest, bis es erneut durch das System läuft. Wenn Sie Werte über die Zeit hinweg vergleichen, können Unterschiede also eher Modellaktualisierungen widerspiegeln als Änderungen am Dokument selbst.

Mistral ist eine Modellfamilie, kein einzelnes feststehendes Produkt. Werkzeuge, die auf Mistral-Modellen aufbauen, oder feinabgestimmte Mistral-Versionen fallen ebenfalls unter die Formulierung von Turnitin "tools based on these LLMs" (Werkzeuge, die auf diesen LLMs aufbauen). Das Erkennungsmodell weist Mistral im Bericht nicht namentlich aus. Es erzeugt einen einzigen KI-Schreibwert auf Dokumentebene, der auf statistischen Mustern beruht, ohne Aufschlüsselung nach einzelnen Modellen.

Das heißt: Ein Bericht wird nicht sagen „30 % Mistral, 10 % GPT". Er wird etwas sagen wie „40 % KI-generiert", also einen zusammengefassten Wert. Die Modelliiste sagt Ihnen, welche Modellfamilien der Detektor erkennen kann, nicht welches konkrete Modell welchen Absatz geschrieben hat. Was der Bericht tatsächlich auf die Seite schreibt, wird in wie man den Turnitin AI Writing Report liest behandelt.

Wenn Sie mit Mistral-generiertem Text arbeiten und verstehen müssen, wie Turnitin damit umgeht, hier die Zusammenfassung:

• Ja, Mistral ist erkennbar. Das Modell steht auf der veröffentlichten Liste, und auch Werkzeuge auf Mistral-Basis sind erfasst.
• Die Erkennung ist wahrscheinlichkeitsbasiert. Das System unterteilt den Text in Abschnitte, bewertet jeden Abschnitt nach seiner KI-Wahrscheinlichkeit und fasst die Werte zu einem Prozentwert zusammen. Burstiness oder Perplexity verwendet es nicht.
• Etwas KI-Text bleibt unentdeckt. Um falsch positive Ergebnisse bei Dokumenten mit mehr als 20 % KI-Text unter 1 % zu halten, kann der Detektor den tatsächlichen KI-Anteil zu niedrig ansetzen.
• Werte können sich ändern. Wird das Modell aktualisiert und das Dokument erneut eingereicht, kann der Wert abweichen. Ein Wert aus einer früheren Einreichung bleibt fest, bis das Dokument neu verarbeitet wird.
• Keine Aufschlüsselung nach Modellen. Der Bericht zeigt einen zusammengefassten KI-Prozentwert, keine Zuordnung zu einzelnen Modellen.

Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.