Turnitin utilise-t-il la perplexité et la burstiness pour détecter l'IA ?

Le modèle de Turnitin n'est pas explicitement programmé pour évaluer la « burstiness » ou la « perplexité » comme métriques individuelles. C'est un classifieur fondé sur des transformeurs qui apprend des régularités statistiques à partir de données d'entraînement, y compris des régularités dans la probabilité des mots. L'affirmation très répandue selon laquelle Turnitin vérifie deux scores nommés et signale votre texte s'ils tombent dans la mauvaise plage est donc fausse sur le mécanisme, même si l'intuition sous-jacente, à savoir que c'est la probabilité des mots qui distingue le texte d'IA du texte humain, n'est pas entièrement à côté de la plaque.

La correction compte, parce que le conseil bâti sur le mauvais mécanisme échoue d'une manière bien précise. Si vous croyez que Turnitin calcule un chiffre de perplexité, vous essayez de déplacer ce chiffre. Si ce qu'il fait réellement, c'est classer le texte selon des schémas de probabilité des mots appris sur des segments chevauchants, alors déplacer une métrique de surface peut changer ce que voit le classifieur : ou pas. Nous avons écrit de manière générale sur ce que mesurent les détecteurs d'IA ; cet article se resserre sur un seul détecteur et sur les deux métriques que la plupart des gens nomment.

La FAQ sur les capacités de détection de l'écriture IA de Turnitin contient un démenti direct. La phrase que tout le monde continue de citer, et la phrase juste après que tout le monde continue d'omettre :

« Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions. » (Notre modèle n'est pas explicitement programmé pour évaluer des signaux précis comme la « burstiness », la « perplexité » ou d'autres métriques individuelles parfois évoquées dans les débats publics.) « Instead, it learns statistical patterns from our training data. » (Il apprend plutôt des régularités statistiques à partir de nos données d'entraînement.)

Le même paragraphe poursuit : « As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms. » (Par conséquent, ses résultats sont produits par de nombreux schémas appris agissant ensemble, et non par un petit ensemble de règles transparentes et lisibles par un humain. C'est pourquoi les prédictions individuelles ne sont pas toujours explicables en termes simples, caractéristique par caractéristique.)

Lisez ces quatre phrases ensemble et le démenti prend une forme précise. Turnitin dit ceci : nous n'avons pas de module qui calcule un chiffre de burstiness, nous n'avons pas de module qui calcule un chiffre de perplexité, et nous ne faisons pas entrer ces deux chiffres dans un seuil. C'est le démenti d'une architecture précise. Ce n'est pas le démenti du fait que la probabilité des mots entre en jeu.

Voici la phrase de la même page qui transforme un démenti simple en quelque chose de plus compliqué. Sous la question portant sur les paramètres ou les signaux pris en compte par le modèle, Turnitin écrit :

« Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (Nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les séquences de probabilité des mots propres aux rédacteurs humains.)

La même FAQ qui affirme que le modèle n'est pas programmé pour évaluer la perplexité affirme donc aussi que le classifieur est entraîné à détecter des différences de probabilité des mots. Ces deux affirmations ne sont pas contradictoires, mais vous devez les tenir ensemble pour ne pas lire l'une ou l'autre de travers.

La perplexité, en tant que concept, mesure à quel point une suite de mots est prévisible sous un modèle de langage. Un modèle de langage attribue des probabilités aux mots, et la perplexité résume à quel point le modèle a été surpris par le mot réellement choisi à chaque étape. Une perplexité faible signifie que le modèle a trouvé le texte prévisible. Une perplexité élevée signifie l'inverse. Si le texte généré par IA tend à avoir une perplexité faible, c'est parce que les modèles de langage produisent du texte en échantillonnant dans leurs propres distributions de probabilité : la sortie tombe donc dans une bande de probabilités que le modèle considérait déjà comme probables.

C'est là le lien. Turnitin ne calcule pas un score de perplexité pour le comparer à un seuil. Mais son classifieur est entraîné sur des schémas de probabilité des mots, et la perplexité est une façon de résumer cette probabilité. Le démenti porte sur le mécanisme, pas sur le signal.

La différence pratique est la suivante. Un système qui calcule la perplexité comme métrique nommée vous donne une cible claire : baissez le chiffre de perplexité et vous baissez le risque d'être signalé. Un système qui apprend des schémas de probabilité des mots au sein d'un classifieur plus vaste ne vous donne pas de cible claire, parce que le classifieur combine de nombreux schémas appris et que le résultat ne se réduit pas à un seul score que vous pourriez suivre. Nous avons examiné comment lire un rapport d'écriture IA Turnitin : le chiffre qui y figure est un pourcentage unique, mais ce pourcentage est une agrégation de nombreuses classifications au niveau des segments, et non la lecture d'une jauge de perplexité.

La description publiée par Turnitin de la façon dont le modèle traite un travail se trouve sur la même page de FAQ :

« When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu'un devoir est soumis à Turnitin, les phrases du dépôt sont extraites et découpées en sections chevauchantes pour l'analyse de prédiction. Chaque segment est classé par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit probablement humain ou généré par IA. Chaque phrase éligible à l'intérieur de ces segments hérite du score du segment. Comme les segments se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite regroupés en un score unique. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score global d'écriture IA du document.)

La chaîne de traitement est donc la suivante : extraire les phrases, les découper en segments chevauchants, classer chaque segment sur une échelle de 0 à 1, laisser les phrases éligibles hériter des scores des segments qui les couvrent, regrouper les scores qui se chevauchent, puis agréger le tout en le pourcentage du document que vous voyez sur le rapport.

Le chevauchement est la pièce qui casse le récit simple de la métrique. Une phrase située en bordure d'un segment se trouve aussi dans le segment suivant : elle reçoit donc des scores des deux. Quand ces scores sont regroupés, ce qui pèse sur une phrase dépend en partie de ce qui pèse sur ses voisines. Une phrase que vous avez réécrite pour la rendre moins prévisible peut tout de même hériter d'un score élevé d'un segment qui couvre aussi la phrase d'à côté, si cette voisine porte des schémas que le classifieur a appris à associer au texte d'IA.

C'est pourquoi les détecteurs sont si souvent en désaccord sur un même document. Deux classifieurs entraînés sur des données différentes, découpant à des frontières différentes et regroupant de manière différente, produiront des scores différents sur le même texte, même s'ils réagissent tous deux aux mêmes schémas de probabilité des mots sous-jacents. Le désaccord n'est pas du bruit autour d'une vraie lecture de perplexité. Ce sont deux classifieurs appris différents qui produisent deux agrégations différentes.

Si Turnitin calculait un score de perplexité, la stratégie serait simple. Vous mesureriez la perplexité de votre texte, vous réécririez jusqu'à ce que le chiffre bouge, puis vous soumettriez à nouveau. Les outils qui prétendent « faire baisser la perplexité » vendent exactement ce mode opératoire, et leur argumentaire marketing est la source de l'essentiel de la confusion sur le mécanisme de Turnitin.

Mais si Turnitin classe des segments à l'aide d'un modèle qui a appris des schémas de probabilité des mots parmi bien d'autres, la stratégie ne tient plus. Vous n'avez pas de chiffre à déplacer. Vous avez la sortie d'un classifieur qui réagit à la distribution globale des caractéristiques apprises dans tout le document, regroupées sur des fenêtres chevauchantes. Une réécriture qui rend un passage moins prévisible isolément peut modifier les scores regroupés qui le couvrent, ou non, parce que le classifieur lit le segment, pas la phrase, et que le segment inclut ce qui se trouve de part et d'autre.

Il y a une deuxième conséquence. La même page de FAQ définit ce que le modèle considère comme du texte éligible :

« This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. » (Ce texte éligible ne comprend que des phrases de prose, c'est-à-dire que nous n'analysons que les blocs de texte rédigés en phrases grammaticales standard et n'incluons pas d'autres types d'écriture comme les listes, les puces (structures courtes qui ne sont pas des phrases) ou d'autres structures non phrastiques.)

La phrase suivante est : « This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n'est pas nécessairement le pourcentage de l'ensemble du dépôt.) Les listes, les puces et les autres structures non phrastiques restent hors de l'analyse. Une réécriture qui transforme la prose en puces pour casser un schéma ne fait donc pas baisser un score de perplexité : elle retire le texte de ce qui est évalué, et le pourcentage est calculé sur la prose éligible qui reste. C'est une opération différente, avec un profil de risque différent, et il vaut la peine de savoir laquelle des deux vous êtes en train de faire.

Le récit de la burstiness et de la perplexité n'est pas né par hasard. Il vient des premiers travaux universitaires sur la détection de texte d'IA, où les chercheurs utilisaient effectivement ces deux métriques comme caractéristiques dans des classifieurs expérimentaux, et où la différence de distribution entre texte d'IA et texte humain sur ces deux axes était mesurable et intuitive. Un rédacteur humain fait varier la longueur de ses phrases plus qu'un modèle de langage, et ses choix de mots sont moins prévisibles que ceux d'un modèle. La burstiness capturait le premier aspect, la perplexité le second.

Le récit a subsisté parce qu'il est facile à expliquer et parce qu'il suggère une action claire : variez la longueur de vos phrases, choisissez des mots moins prévisibles. Les deux sont raisonnables. Le problème, c'est que Turnitin dit expressément qu'il ne construit pas son détecteur en calculant ces deux métriques nommées : l'action claire est donc attachée à une description erronée de ce que fait le détecteur. Quand le détecteur évolue, et celui de Turnitin a évolué plusieurs fois depuis 2023, l'action cesse de correspondre à quoi que ce soit dans le système, mais le conseil continue de circuler parce que le récit est simple et que la recherche dont il est issu était réelle.

C'est aussi pourquoi les outils d'humanisation conçus pour cibler la perplexité et la burstiness comme métriques nommées ont tendance à perdre en efficacité avec le temps. Le détecteur contre lequel ils ont été conçus n'a jamais été tout à fait celui que Turnitin décrit, et à mesure que le modèle de Turnitin itère, l'écart entre ce que l'outil cible et ce que le classifieur lit réellement se creuse.

L'outil HumanPen est un outil de réécriture de documents, et la décision de conception qui compte ici, c'est que nous n'essayons pas de déplacer une métrique nommée. Nous réécrivons les passages que le rapport d'écriture IA a signalés, et nous le faisons en changeant la langue même de ces passages plutôt qu'en poussant un chiffre que nous supposons caché sous le rapport.

La raison est celle que cet article a parcourue. Si le classifieur lit des schémas de probabilité des mots sur des segments chevauchants, alors ce qui modifie sa sortie, c'est le changement de la langue à l'intérieur de ces segments, et non le déplacement d'un chiffre sur un tableau de bord. Un outil qui vous dit avoir baissé votre perplexité d'un certain montant vous parle d'un chiffre qu'il a calculé lui-même, pas d'un chiffre calculé par Turnitin. Le seul chiffre que produit Turnitin est le pourcentage du rapport, et ce pourcentage est une agrégation de classifications au niveau des segments, et non la lecture d'une jauge de perplexité.

La facturation ne compte que les mots effectivement réécrits. Si un nouveau rapport sur le texte réécrit signale encore des passages, vous pouvez importer ce rapport et relancer uniquement ces passages, sans frais.

Ce que nous ne vous dirons pas, c'est ce que dira votre prochain rapport. Notre propre page indique que l'outil vise à préserver le sens, la structure, la terminologie, les citations, la mise en page et les styles tout en ne réécrivant que la langue nécessaire, puis qu'il faut relire les documents complexes après le téléchargement. Les deux moitiés de cette phrase sont à prendre au sérieux.

Turnitin vérifie-t-il la perplexité ? Pas comme métrique nommée. La FAQ de Turnitin indique que son modèle est « not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions, » (pas explicitement programmé pour évaluer des signaux précis comme la « burstiness », la « perplexité » ou d'autres métriques individuelles parfois évoquées dans les débats publics,) et ajoute qu'« it learns statistical patterns from our training data. » (il apprend des régularités statistiques à partir de nos données d'entraînement.) La même page indique que ses classifieurs sont « trained to detect these differences in word probability, » (entraînés à détecter ces différences de probabilité des mots,) et la perplexité est une mesure de la probabilité des mots. Le signal est donc présent, mais il n'est pas calculé comme un score autonome.

Turnitin vérifie-t-il la burstiness ? Même réponse. La burstiness, qui décrit la variation de la longueur et de la structure des phrases, n'est pas une métrique nommée dans le modèle de Turnitin. Le classifieur peut apprendre des schémas liés à la variation des phrases dans le cadre de son entraînement, mais aucun module ne calcule un chiffre de burstiness pour le comparer à un seuil.

L'explication populaire est-elle donc complètement fausse ? Pas complètement. L'intuition qui la sous-tend, selon laquelle le texte d'IA est plus prévisible que le texte humain dans le choix des mots et la structure des phrases, est correcte dans son orientation. Ce qui est faux, c'est l'affirmation que Turnitin calcule deux scores nommés et signale votre texte à partir de là. Turnitin dit qu'il ne le fait pas, et le mécanisme qu'il décrit à la place, un classifieur à transformeurs lisant des segments chevauchants, est une architecture différente, avec d'autres faiblesses.

Si Turnitin n'utilise pas ces métriques, qu'utilise-t-il ? Un classifieur fondé sur des transformeurs qui lit des segments chevauchants de votre texte, attribue à chaque segment une probabilité d'avoir été généré par IA, regroupe ces scores sur les fenêtres chevauchantes et les agrège en un pourcentage à l'échelle du document. Le classifieur est entraîné sur des schémas de probabilité des mots issus de textes humains et de textes d'IA. Nous avons détaillé la mécanique au niveau des segments dans ce que mesurent les détecteurs d'IA.

Pourquoi les outils qui prétendent faire baisser la perplexité fonctionnent-ils parfois quand même ? Parce que les changements de langue qui font baisser un score de perplexité calculé, employer des mots moins prévisibles, varier la structure, sont aussi le genre de changements capables de déplacer ce que voit un classifieur de probabilité des mots. L'outil vise la mauvaise métrique, mais certaines des modifications qu'il apporte changent par hasard le bon signal. Le décalage apparaît avec le temps : à mesure que le classifieur itère, la corrélation entre la métrique ciblée par l'outil et la frontière de décision réelle du classifieur dérive, et l'outil perd en efficacité sans rien changer à lui-même.

Cela signifie-t-il que je devrais arrêter d'essayer de rendre mon écriture moins prévisible ? Cela signifie que l'objectif est bon, mais que la métrique ne l'est pas. Un texte qui varie dans sa structure et qui ne tombe pas dans des schémas génériques a moins de chances de correspondre à ce que le classifieur a appris comme typique de l'IA. L'erreur consiste à croire que vous déplacez un score nommé sur un cadran, alors que vous changez en réalité la langue que le classifieur lit sur des fenêtres chevauchantes. Cela vaut la peine de le faire : ce n'est simplement pas ce que l'explication populaire dit que vous faites.