Turnitin détecte-t-il les textes de Mistral AI ? Ce que dit la documentation

Turnitin tient à jour une liste publiée des modèles dont le modèle de détection d'écriture IA peut identifier les productions. Cette liste comprend GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok, o1-mini, ainsi que les outils basés sur ces LLM. LLaMA figure aux côtés de Mistral pour la même raison : les deux sont à poids ouverts, et Turnitin détecte-t-il LLaMA propose la même lecture. La formulation est simple : le modèle de détection d'écriture IA de Turnitin pour les soumissions en anglais peut détecter le contenu de ces modèles.

La documentation précise aussi : « We will continue to expand our detection capabilities to other models in the future. » (nous continuerons à étendre nos capacités de détection à d'autres modèles à l'avenir). La liste n'est donc pas figée. Elle s'allonge à mesure que de nouveaux modèles sortent et que le système de détection est mis à jour pour en reconnaître les productions.

Pour Mistral en particulier, la réponse à la question « Turnitin le détecte-t-il ? » est oui : il figure sur la liste. Mais ce que « détecter » veut dire en pratique renvoie à un processus plus nuancé.

Comprendre ce qui se passe lorsque vous soumettez un document aide à expliquer pourquoi les résultats ont cette allure. Voici le mécanisme que décrit Turnitin :

« When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu'un article est soumis à Turnitin, les phrases de la soumission sont extraites et segmentées en sections qui se chevauchent pour l'analyse de prédiction. Chaque section est classée par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par une IA. Chaque phrase éligible de ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent avoir plusieurs scores, qui sont ensuite regroupés en un seul. Ces scores de phrase sont encore agrégés et servent à calculer le score global d'écriture IA du document.)

Le système ne recherche pas un seul indice révélateur. Il segmente votre texte, attribue à chaque segment un score de probabilité d'IA, regroupe les scores des phrases qui se chevauchent et agrège le tout en un pourcentage à l'échelle du document.

La documentation dit aussi clairement ce que le modèle ne fait pas. Il ne s'appuie pas sur des mesures nommées comme le burstiness ou la perplexité, une dénégation que nous détaillons dans Turnitin utilise-t-il la perplexité et le burstiness pour détecter l'IA : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (notre modèle n'est pas explicitement programmé pour évaluer des signaux précis comme « burstiness », « perplexity » ou d'autres mesures individuelles parfois évoquées dans les débats publics). Le modèle apprend plutôt des régularités statistiques à partir des données d'entraînement. Les classifieurs sont entraînés à repérer des écarts dans la probabilité des mots et maîtrisent les séquences de probabilité propres aux rédacteurs humains.

Cela signifie que la détection est probabiliste, et non déterministe. Le score reflète la confiance du modèle dans le fait qu'un texte ressemble à des schémas générés par IA, et non un jugement binaire tranché.

Figurer sur la liste des modèles détectables ne signifie pas que chaque phrase générée par IA soit repérée. Turnitin donne la priorité au maintien d'un faible taux de faux positifs, et ce compromis a un coût de l'autre côté.

« In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. » (Pour maintenir ce faible taux de 1 % de faux positifs, il est possible que nous manquions une partie du texte écrit par IA dans un document. Cela nous convient, car nous ne voulons pas signaler à tort comme écrit par IA un texte écrit par un humain. Par exemple, si nous identifions que 50 % d'un document ont probablement été écrits par un outil d'IA, ce document pourrait contenir jusqu'à 65 % d'écriture IA.)

Un document soumis avec du texte généré par Mistral peut donc recevoir un score inférieur au pourcentage réel de contenu IA. Le détecteur peut identifier 50 % comme écrit par IA alors que la proportion réelle est plus proche de 65 %. C'est assumé : le système penche du côté de la non-signalisation du texte humain, ce qui signifie qu'une partie du texte IA passera sans être signalée.

Cet écart compte si vous essayez de comprendre pourquoi un document dont le contenu IA est connu a reçu un score plus bas que prévu. Le calcul derrière cet objectif de 1 % est détaillé dans ce que signifie un taux de faux positifs de 1 %.

Le modèle qui détecte aujourd'hui les textes de Mistral n'est pas nécessairement celui qui fonctionnera le mois prochain. La documentation de Turnitin le reconnaît :

« As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed. » (À mesure que nous faisons évoluer notre modèle pour mieux détecter les LLM plus récents, il est probable que nos capacités de détection changent elles aussi, ce qui modifiera le pourcentage d'IA. Toutefois, pour un document déjà soumis, le pourcentage d'IA ne changera que s'il est soumis de nouveau pour être traité.)

Deux conséquences pratiques. Premièrement, un même document peut recevoir des scores différents s'il est soumis à nouveau après une mise à jour du modèle, et c'est pourquoi comparer deux rapports vaut mieux que comparer deux scores. Deuxièmement, une fois un document traité, le score annoncé reste figé tant qu'il ne repasse pas par le système. Si vous comparez des scores dans le temps, les écarts peuvent refléter des mises à jour du modèle plutôt que des changements apportés au document lui-même.

Mistral est une famille de modèles, pas un produit unique et figé. Les outils construits sur les modèles Mistral, ou les versions ajustées de Mistral, relèvent également de la formulation de Turnitin « tools based on these LLMs » (les outils basés sur ces LLM). Le modèle de détection n'identifie pas Mistral nommément dans le rapport. Il produit un score unique d'écriture IA à l'échelle du document, fondé sur des régularités statistiques, sans ventilation par modèle précis.

Cela signifie qu'un rapport ne dira pas « 30 % Mistral, 10 % GPT ». Il dira plutôt quelque chose comme « 40 % généré par IA », c'est-à-dire un score agrégé. La liste de modèles vous indique quelles familles de modèles le détecteur est entraîné à reconnaître, et non quel modèle précis a produit tel paragraphe. Ce que le rapport affiche réellement est expliqué dans comment lire un AI Writing Report Turnitin.

Si vous travaillez avec du texte généré par Mistral et que vous devez comprendre comment Turnitin le traitera, voici le résumé :

• Oui, Mistral est détectable. Il figure sur la liste de modèles publiée, et les outils basés sur Mistral sont également couverts.
• La détection est probabiliste. Le système segmente le texte, attribue à chaque segment un score de probabilité d'IA et agrège ces scores en un pourcentage unique. Il n'utilise ni le burstiness ni la perplexité.
• Une partie du texte IA passera inaperçue. Pour maintenir les faux positifs sous 1 % dans les documents contenant plus de 20 % d'écriture IA, le détecteur peut sous-estimer la part réelle de contenu IA.
• Les scores peuvent changer. Si le modèle est mis à jour et que le document est soumis à nouveau, le score peut bouger. Un score issu d'une soumission précédente reste figé jusqu'à un nouveau traitement.
• Aucune ventilation par modèle. Le rapport affiche un pourcentage d'IA agrégé, pas une attribution par modèle.

Les passages éligibles peuvent être relancés gratuitement.