Vous avez paraphrasé : la similarité a baissé, mais le score d'IA a grimpé. Voici pourquoi

Le score de similarité et le score de détection d'écriture par IA sont deux mesures distinctes qui ne s'influencent pas l'une l'autre. Turnitin le dit sans détour : « The Similarity score and the AI writing detection percentage are completely independent and do not influence each other. » (Le score de similarité et le pourcentage de détection d'écriture par IA sont totalement indépendants et ne s'influencent pas l'un l'autre.)

Quand vous paraphrasez pour faire baisser le pourcentage de similarité, aucun mécanisme ne tire le score d'IA vers le bas dans la foulée. Les deux chiffres peuvent évoluer en sens inverse, et c'est fréquent. Le paraphrasage modifie les mots de votre document, ce qui réduit les correspondances de chaînes dans la base de similarité. Ces mêmes modifications peuvent aussi déplacer les schémas de probabilité des mots, au point de rendre le détecteur d'IA plus enclin à signaler le texte. Résultat : le scénario que beaucoup d'étudiants connaissent bien. La similarité baisse, le score d'IA monte.

Pour comprendre ce qui se passe, il faut regarder ce que chaque système mesure. Le rapport de similarité compare le texte que vous rendez à une base de contenus existants. Comme l'explique Turnitin, « The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking. » (Le score de similarité indique le pourcentage de texte correspondant trouvé dans le document soumis, lorsqu'il est comparé à l'ensemble complet de contenus que Turnitin utilise pour la vérification de similarité.) Le paraphrasage réduit ces correspondances, parce que vous modifiez précisément les chaînes de caractères que le système recherche.

Le détecteur d'écriture par IA fait quelque chose de fondamentalement différent. Il ne cherche pas de texte correspondant : il analyse les régularités statistiques de vos choix de mots. Voici comment Turnitin décrit le processus : « When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score. » (Lorsqu'un devoir est soumis à Turnitin, les phrases de la soumission sont extraites puis découpées en sections chevauchantes pour l'analyse de prédiction. Chaque section est classée par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit d'origine humaine ou généré par IA. Chaque phrase éligible de ces sections hérite du score de la section. Comme les sections se chevauchent, certaines phrases peuvent recevoir plusieurs scores, qui sont ensuite regroupés en un seul. Ces scores de phrase sont à leur tour agrégés et servent à calculer le score global d'écriture par IA du document.)

Le système de similarité cherche des chaînes qui existent déjà ailleurs. Le système d'IA cherche des schémas de probabilité dans la façon dont les mots sont choisis. Le paraphrasage modifie les chaînes, ce qui aide la similarité, mais il modifie aussi les schémas de probabilité, ce qui peut nuire au score d'IA. Ce sont deux cibles différentes, et en atteindre une ne signifie pas atteindre l'autre.

C'est ici que la situation devient particulièrement frustrante. La documentation de Turnitin elle-même cite le paraphrasage parmi les caractéristiques des textes susceptibles de produire des faux positifs. La phrase complète : « Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Il arrive que les faux positifs, c'est-à-dire le fait de signaler à tort comme généré par IA un texte écrit par un humain, concernent un contenu qui manque de variation structurelle, un texte qui se répète littéralement, ou un texte qui a été paraphrasé sans développer d'idées nouvelles.)

Turnitin ajoute ensuite ce conseil : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur signale une plus grande quantité d'écriture par IA dans ce type de texte, nous vous conseillons d'en tenir compte lorsque vous regardez le pourcentage indiqué.)

C'est là le cœur du problème. Quand vous paraphrasez pour faire baisser la similarité, la passe reste en général à l'intérieur des idées déjà présentes sur la page. C'est exactement ce type de texte « paraphrased without developing new ideas » (paraphrasé sans développer d'idées nouvelles) que Turnitin signale comme propice aux faux positifs. Vous n'ajoutez ni analyse nouvelle, ni argument nouveau, ni preuve nouvelle. Les idées ne bougent pas, la structure reste souvent similaire, et le texte correspond maintenant à un profil que le détecteur d'IA associe à du contenu généré par machine. Les modifications faites pour éviter les correspondances de similarité peuvent avoir produit un texte qui, statistiquement, ressemble davantage à une sortie d'IA, et non moins. Pourquoi le paraphrasage fait monter votre score d'IA Turnitin parcourt le même mécanisme par l'autre bout.

Une question revient souvent : le détecteur d'IA mesure-t-il des choses comme la « perplexity » ou la « burstiness », des termes qui circulent dans les discussions sur la détection d'IA ? Nous l'avons traitée à part dans Turnitin utilise-t-il la perplexity et la burstiness. Turnitin répond directement : « Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. » (Notre modèle n'est pas explicitement programmé pour évaluer des signaux précis comme la burstiness, la perplexity ou d'autres mesures individuelles parfois évoquées dans les débats publics.) Dans la phrase suivante, ils ajoutent : « Instead, it learns statistical patterns from our training data. » (Il apprend plutôt des régularités statistiques à partir de nos données d'entraînement.)

Cela ne veut pas dire que la probabilité des mots n'a pas d'importance. La même documentation enchaîne avec une précision essentielle : « Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers. » (Nos classificateurs sont entraînés à détecter ces différences de probabilité des mots et connaissent bien les séquences de probabilité propres aux rédacteurs humains.)

Ces deux déclarations mises bout à bout nous apprennent quelque chose d'important. Le modèle ne calcule pas la perplexity comme une mesure nommée, mais il est entraîné sur des schémas de probabilité des mots. Quand une réécriture retombe à chaque fois sur l'option la plus évidente, elle choisit peut-être le mot le plus prévisible statistiquement à cet endroit. Si la version d'origine était un choix inhabituel et que ce qui la remplace est le choix le plus courant, le schéma de probabilité devient plus prévisible, pas moins. Pour un classificateur entraîné sur la probabilité des mots, des séquences plus prévisibles peuvent ressembler davantage à du texte généré par IA. Voilà le mécanisme du paradoxe : le paraphrasage rend le texte moins semblable aux sources existantes, mais les mots choisis peuvent le rendre plus prévisible statistiquement, ce qui est exactement l'inverse de ce qui fait baisser un score d'IA.

À retenir : faire baisser la similarité et faire baisser un score d'IA sont deux objectifs différents. Ils demandent des modifications différentes du texte, et ce qui aide l'un peut nuire à l'autre. Le paraphrasage seul, surtout une passe qui reste dans les idées déjà présentes sur la page, c'est précisément le genre d'approche qui fait baisser la similarité tout en risquant de faire monter le score d'IA. Cet écart, c'est aussi là où les deux catégories d'outils diffèrent vraiment.

Le rapport de similarité porte sur la question de savoir si vos chaînes de caractères correspondent à des contenus existants. Le rapport d'IA porte sur la question de savoir si vos schémas de probabilité des mots ressemblent à du texte généré par machine. Vouloir régler les deux avec la même passe d'édition, en particulier une passe qui reste dans les idées déjà présentes sur la page, c'est là que le conflit apparaît. Si votre score d'IA a grimpé après un paraphrasage fait pour la similarité, c'est sans doute que le paraphrasage a modifié votre texte d'une manière que le détecteur d'IA lit comme plus prévisible, tout en correspondant au profil de faux positifs « paraphrased without developing new ideas. » (paraphrasé sans développer d'idées nouvelles).

Voici ce qu'il faut en retenir :

1. Le score de similarité et le score d'IA sont des mesures indépendantes. En baisser un ne fait pas baisser l'autre.
2. Le système de similarité cherche des chaînes correspondantes. Le système d'IA analyse des schémas de probabilité des mots. Ce sont des signaux différents.
3. « Paraphrased without developing new ideas » (paraphrasé sans développer d'idées nouvelles) est explicitement cité par Turnitin comme déclencheur de faux positifs. Le critère, c'est l'apparition d'une analyse nouvelle, pas la modification qui a produit la phrase.
4. Le modèle d'IA n'est pas programmé pour la burstiness ou la perplexity en tant que mesures nommées, mais il est entraîné sur la probabilité des mots. Une passe qui retombe sur l'option la plus prévisible à chaque position peut donner au texte un air plus artificiel.
5. Faire baisser la similarité et faire baisser le score d'IA sont deux objectifs séparés. Le paraphrasage seul peut aider l'un et nuire à l'autre.

Lorsque les passages éligibles peuvent être relancés gratuitement, vous avez de la marge pour itérer, ce qui est précisément le but de l'importation du rapport Turnitin. L'essentiel est de traiter les deux scores comme des problèmes distincts, qui demandent des approches distinctes.