Turnitin détecte-t-il Grammarly comme de l’écriture par IA ?

Orthographe, grammaire et ponctuation : Turnitin indique que, lors de ses tests, ces corrections n’ont pas été signalées « in most cases » (dans la plupart des cas). Les fonctions génératives de Grammarly sont une autre affaire, et Turnitin le dit dans le même paragraphe : les contenus issus de la génération de brouillons, de la paraphrase ou du résumé « and other features » (et d’autres fonctions) seront « likely be flagged as AI-generated by our detector » (probablement signalés comme générés par l’IA par notre détecteur). La ligne de partage passe entre corriger une phrase que vous avez écrite et en générer une que vous n’avez pas écrite.

Voici la réponse en entier, tirée de la FAQ de Turnitin sur les capacités de détection de l’écriture par IA, parce que chacune de ses propositions est mal citée quelque part :

« No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector. » (Non. Notre détecteur n’est pas réglé pour cibler les modifications d’orthographe, de grammaire et de ponctuation apportées par Grammarly, mais plutôt d’autres contenus d’IA écrits par des LLM tels que GPT-3.5. D’après les tests que nous avons menés sur des documents écrits par des humains sans contenu généré par IA, dans la plupart des cas, les modifications apportées par Grammarly dans ses versions gratuite et premium et/ou par d’autres outils de correction grammaticale n’ont pas été signalées comme écrites par l’IA par notre détecteur. Veuillez noter que cela exclut le contenu généré par les fonctions d’IA générative de Grammarly, notamment la génération de brouillons, la paraphrase, le résumé et d’autres fonctions. Le contenu produit avec ces fonctions sera probablement signalé comme généré par l’IA par notre détecteur.)

Trois choses à en retenir, que la version courte perd en général.

« In most cases » (dans la plupart des cas) est une vraie réserve, pas une formule. Turnitin décrit les résultats de ses propres tests sur des documents sans contenu d’IA, et il a refusé de dire « pas signalé » sans nuance.

La liste des exclusions se termine par « and other features » (et d’autres fonctions), et c’est ouvert par choix. Si une fonction écrit du texte au lieu d’en corriger, considérez qu’elle tombe du côté génératif, quel que soit le nom qu’elle porte dans l’interface ce mois-ci.

Et « will likely be flagged » (sera probablement signalé) est aussi direct qu’un éditeur de détection peut l’être. Ce n’est pas un avertissement sur un risque. C’est une prédiction.

Pas au produit, mais à l’action. Corriger une virgule dans votre phrase laisse votre phrase intacte. Demander à un outil de réécrire le paragraphe « plus clairement » vous renvoie un paragraphe que l’outil a composé. Les deux vivent dans le même abonnement, et c’est exactement pour cela que la question revient sans cesse.

L’entre-deux inconfortable, c’est la suggestion de réécriture qui arrive sous la forme d’un bouton unique à l’étiquette aimable. Si vous en avez accepté une douzaine dans une partie de discussion, la prose que vous avez rendue est en partie composée par un modèle, que vous l’ayez vécu comme de l’édition ou non.

La réponse de Turnitin ci-dessus porte sur ce que le détecteur est réglé pour cibler. Ce n’est pas une garantie concernant votre document, et la même FAQ nomme les propriétés de texte qui apparaissent dans ses propres faux positifs :

« Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. » (Parfois, les faux positifs, c’est-à-dire le fait de signaler à tort comme généré par l’IA un texte écrit par un humain, peuvent inclure un contenu sans grande variation structurelle, un texte qui se répète littéralement, ou un texte paraphrasé sans développement d’idées nouvelles.)

Lisez la phrase qui suit, que presque personne ne cite : « If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. » (Si notre indicateur montre une quantité plus élevée d’écriture par IA dans ce type de texte, nous vous conseillons d’en tenir compte lorsque vous regardez le pourcentage indiqué.) C’est l’éditeur qui demande aux enseignants de peser autrement un score élevé sur un texte de cette forme, et c’est une phrase qui vaut la peine d’être gardée sous la main.

Mettez maintenant ces deux faits l’un à côté de l’autre. Une édition intensive ligne par ligne, quel que soit l’outil ou la personne soigneuse qui s’en charge, tend à lisser la variation structurelle d’un brouillon. C’est notre lecture et non une affirmation de Turnitin, mais c’est le mécanisme qui expliquerait qu’un devoir à la grammaire impeccable revienne avec un chiffre dessus, et il pointe vers une défense que vous pouvez réellement faire valoir : apportez les brouillons antérieurs, les plus bruts.

Si votre établissement a aussi activé une fonction d’auteur, ne lisez pas son résultat comme un second avis sur l’IA. La FAQ de Turnitin décrit son propre produit Authorship ainsi : il « uses metadata as well as forensic language analysis to detect if the submitted assignment was written by someone other than the student » (utilise des métadonnées ainsi qu’une analyse linguistique forensique pour détecter si le devoir rendu a été écrit par quelqu’un d’autre que l’étudiant), et « it will not be able to indicate if it was AI written; only that the content is not the student's own work » (il ne pourra pas indiquer s’il a été écrit par l’IA ; seulement que le contenu n’est pas le travail personnel de l’étudiant).

La provenance et la probabilité d’IA sont deux affirmations différentes à propos de votre document. Tout ce qui enregistre la façon dont un fichier est apparu répond à la question à laquelle un détecteur ne peut pas répondre, et c’est aussi pourquoi la trace de rédaction ci-dessous vaut plus qu’elle n’en a l’air.

Gardez la trace de rédaction plutôt que de changer vos habitudes par peur. L’historique des versions, les fichiers datés, le deuxième brouillon en désordre avec le paragraphe que vous avez ensuite coupé. Ces preuves se situent hors du débat sur ce que signifie un pourcentage, et c’est pourquoi elles tiennent (comment les conserver dans Word, Google Docs et Overleaf).

Si vous avez déjà été signalé, le premier geste consiste à lire le rapport plutôt qu’à réécrire le devoir (que faire quand c’est vous qui l’avez écrit).

Dois-je désactiver Grammarly avant de rendre mon travail ? La position déclarée de Turnitin est que son détecteur n’est pas réglé pour cibler les modifications d’orthographe, de grammaire et de ponctuation. Désactiver les fonctions génératives, voilà la partie qui correspond à ce que la FAQ dit réellement.

Cela s’applique-t-il aux autres correcteurs grammaticaux ? La citation dit « Grammarly (free & premium) and/or other grammar-checking tools » (Grammarly dans ses versions gratuite et premium et/ou d’autres outils de correction grammaticale) : l’affirmation testée est donc plus large qu’un seul produit. L’exclusion générative suit la même logique : une fonction qui écrit du texte n’est pas un correcteur grammatical.

Mon université dit que l’usage de Grammarly est autorisé. Est-ce pareil que ne pas être signalé ? Non, et les deux méritent d’être gardés séparés. Une politique porte sur la permission. Le résultat d’un détecteur est une statistique. Vous pouvez être entièrement dans les clous et tenir quand même un rapport avec un chiffre dessus.

Le détecteur sait-il quel outil a touché mon fichier ? Il n’en signale aucun. Turnitin décrit le modèle comme classant des segments selon la probabilité qu’un texte soit humain ou généré par l’IA (plus de détails sur ce que cette mesure représente).