Écriture assistée par IA ou écriture générée par IA : comment Turnitin traite chacune

La détection d'IA de Turnitin ne suit pas votre processus d'écriture. Elle ne sait pas si vous avez rédigé à la main, dicté ou utilisé un outil à un moment donné. Elle évalue le texte que vous déposez.

« When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. » (Lorsqu'un travail est déposé sur Turnitin, les phrases du dépôt sont extraites et segmentées en sections chevauchantes pour l'analyse de prédiction. Chaque segment est classé par le modèle de détection d'IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par IA.)

Le modèle extrait les phrases du document terminé, les segmente et note chaque segment. Il n'a accès ni à l'historique des versions, ni aux horodatages de modification, ni aux journaux d'utilisation des outils ; et c'est précisément pourquoi il vaut la peine de conserver ces éléments de votre côté, comme l'explique comment prouver que vous n'avez pas utilisé l'IA. Il travaille avec ce qui figure sur la page au moment du dépôt.

Cela signifie que la distinction entre « j'ai écrit ceci avec de l'aide » et « ceci a été généré pour moi » n'est pas quelque chose que le modèle peut observer directement. Il classe le texte à partir de régularités statistiques dans le résultat final.

Le périmètre de ce qui est analysé est également précis : « This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. » (Ce texte éligible ne comprend que des phrases de prose, c'est-à-dire que nous n'analysons que des blocs de texte rédigés en phrases grammaticalement standard et n'incluons pas d'autres types d'écriture comme les listes, les puces (structures courtes qui ne sont pas des phrases) ou d'autres structures qui ne sont pas des phrases.) Et : « This percentage is not necessarily the percentage of the entire submission. » (Ce pourcentage n'est pas nécessairement celui de l'ensemble du dépôt.)

Beaucoup d'étudiants utilisent Grammarly ou des outils similaires pour corriger l'orthographe et la grammaire. La question est de savoir si ces corrections font signaler le texte comme généré par IA. La documentation de Turnitin y répond directement.

« Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. » (Notre détecteur n'est pas paramétré pour cibler les modifications d'orthographe, de grammaire et de ponctuation apportées par Grammarly, mais plutôt d'autres contenus d'IA rédigés par des LLM tels que GPT-3.5. D'après les tests que nous avons menés sur des documents rédigés par des humains ne contenant aucun contenu généré par IA, dans la plupart des cas, les modifications apportées par Grammarly (gratuit et premium) et/ou d'autres outils de vérification grammaticale n'ont pas été signalées comme écrites par IA par notre détecteur.)

L'expression clé est « in most cases. » (dans la plupart des cas). Le détecteur n'est pas paramétré pour repérer les corrections d'orthographe et de grammaire. Dans la plupart des cas, un texte rédigé par un humain puis nettoyé avec Grammarly ne sera pas signalé. Cela vaut autant pour la version gratuite que pour la version premium de Grammarly, et aussi pour les autres outils de vérification grammaticale. Turnitin détecte-t-il Grammarly comme de l'écriture par IA ? reprend la formulation du fournisseur ligne par ligne.

Cela ne veut pas dire qu'un texte corrigé grammaticalement soit invisible pour le détecteur. Cela veut dire que le détecteur n'est pas conçu pour identifier ce type précis de modification. La prose finale reste analysée à la recherche de régularités statistiques propres à l'IA. Mais le fait de passer Grammarly pour l'orthographe et la grammaire ne provoque pas, dans la plupart des cas, un signalement à lui seul.

La documentation trace une ligne claire entre les fonctions de correction de Grammarly et ses fonctions génératives. L'exclusion ne s'étend pas au contenu produit par des outils d'IA générative.

« Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector. » (Veuillez noter que cela exclut le contenu généré par les fonctions d'IA générative de Grammarly, notamment la génération de brouillons, le paraphrasage, le résumé et d'autres fonctions. Le contenu produit à l'aide de ces fonctions sera probablement signalé comme généré par IA par notre détecteur.)

Il y a donc deux catégories. D'un côté : les corrections d'orthographe, de grammaire et de ponctuation. Elles ne sont pas ciblées par le détecteur et, dans la plupart des cas, ne sont pas signalées. De l'autre : la génération de brouillons, le paraphrasage, le résumé et les autres fonctions génératives. Le contenu produit à l'aide de ces fonctions sera probablement signalé comme généré par IA.

La distinction compte. Si vous avez utilisé Grammarly pour corriger des fautes de frappe et resserrer la grammaire, le détecteur n'est pas paramétré pour le repérer. Si vous avez utilisé Grammarly pour générer un brouillon, paraphraser un passage ou résumer une source, ce résultat est traité comme n'importe quel autre contenu généré par IA et sera probablement signalé.

Cette ligne repose sur ce que produisent les fonctions, pas sur la marque. Une fonction générative de n'importe quel outil, et pas seulement de Grammarly, se range du côté « will likely be flagged » (sera probablement signalé). Une correction d'orthographe ou de grammaire de n'importe quel outil se range du côté « not tuned to target » (pas paramétré pour la cibler). Le côté où vous vous situez détermine aussi ce que vous devez déclarer, un point traité dans le fait de passer son document dans un outil de réécriture change-t-il ce que vous devez déclarer ?.

Même lorsqu'aucune IA n'est intervenue, certains types de prose écrite par un humain peuvent déclencher des faux positifs. La documentation liste des schémas précis à surveiller.

« Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Il arrive que les faux positifs (le fait de signaler à tort comme généré par IA un texte écrit par un humain) concernent un contenu présentant peu de variation structurelle, un texte qui se répète littéralement, ou un texte paraphrasé sans développer d'idées nouvelles.)

« If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d'écriture par IA dans ce type de texte, nous vous conseillons d'en tenir compte lorsque vous examinez le pourcentage indiqué.)

Donc, si votre texte est structurellement plat, répète les mêmes formulations ou paraphrase sans ajouter d'idées nouvelles, le modèle peut le signaler même s'il est entièrement écrit par un humain. C'est important pour la distinction entre assistance et génération, car un étudiant qui rédige son propre texte mais paraphrase beaucoup peut voir un signalement qui n'a rien à voir avec l'utilisation d'un outil. J'ai paraphrasé un texte d'IA avec une autre IA et Turnitin l'a quand même signalé est l'autre extrémité du même effet.

La documentation de Turnitin indique explicitement que le score de détection d'IA ne doit pas être traité comme une preuve définitive d'inconduite.

« Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student. » (Il se peut que notre modèle de détection d'écriture par IA ne soit pas toujours exact (il peut se tromper sur un texte écrit par un humain, généré par IA ou paraphrasé par IA) ; il ne doit donc pas être utilisé comme seule base pour des mesures défavorables à l'encontre d'un étudiant.)

« It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred. » (Il faut un examen plus approfondi et un jugement humain, conjointement avec l'application par l'établissement de ses politiques académiques spécifiques, pour déterminer s'il y a eu inconduite académique.)

Le score est une information parmi d'autres. Il exige un examen plus approfondi et un jugement humain, appliqués dans le cadre des politiques académiques spécifiques de l'établissement. Le modèle peut se tromper dans les deux sens : signaler un texte humain comme étant de l'IA, ou ne pas repérer du tout un texte d'IA. Traiter le pourcentage comme une base unique reviendrait à ignorer les propres recommandations de la documentation. Si c'est vous qui tenez le rapport signalé, signalé, mais c'est vous qui l'avez écrit explique comment le présenter à un correcteur.

Si vous cherchez à comprendre comment Turnitin traite l'écriture assistée par IA par rapport à l'écriture générée par IA, voici le résumé :

• Le modèle voit le texte fini. Il ne suit pas votre processus d'écriture. Il segmente et note les phrases de prose du document déposé.
• Les corrections d'orthographe et de grammaire sont différentes. Le détecteur n'est pas paramétré pour cibler les corrections d'orthographe, de grammaire et de ponctuation à la manière de Grammarly. Dans la plupart des cas, elles ne sont pas signalées.
• Les fonctions génératives seront probablement signalées. Le contenu issu de la génération de brouillons, du paraphrasage, du résumé et des autres fonctions génératives de Grammarly est traité comme généré par IA et sera probablement signalé.
• Il arrive des faux positifs. Une prose structurellement plate, répétitive ou paraphrasée a plus de chances d'être signalée, même sans IA.
• Le score n'est pas une base unique. La documentation dit qu'il ne doit pas servir de seule base à des mesures défavorables à l'encontre d'un étudiant. Le jugement humain et la politique de l'établissement s'appliquent.

Les passages remplissant les conditions peuvent être relancés gratuitement.