Le taux de faux positifs de Turnitin, expliqué

Turnitin formule clairement son objectif dans sa documentation : « We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing. » (Nous cherchons à améliorer l'efficacité du détecteur tout en maintenant sous 1 % le taux de textes entièrement humains classés à tort comme générés par IA, selon une condition de détection au niveau du document dépassant 20 % de rédaction signalée comme IA.)

La condition de 20 % concerne le résultat du détecteur, pas une quantité de texte IA déjà établie dans le document. Le livre blanc d'août 2024 de Turnitin décrit une règle au niveau du document : plus de 20 % des scores de phrases dépassent un seuil du modèle. Son test de faux positifs utilise des travaux qu'il décrit comme entièrement rédigés par des humains. L'erreur comptée est le franchissement de ce seuil de détection par un travail humain.

Le taux de faux positifs au niveau du document mesure la fréquence à laquelle des documents humains déclenchent la règle de détection. Il ne donne pas la probabilité qu'un travail déjà signalé soit humain. Ces deux questions inversent la condition, et le résultat du test ne suffit pas à répondre à la seconde. Un score élevé demande aussi un examen : un score IA Turnitin de 100 % peut-il quand même provenir d'un humain ?

La FAQ de Turnitin décrit les tests sur lesquels repose cet objectif : « To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate. » (« Pour renforcer notre cadre de test et diagnostiquer les tendances statistiques des faux positifs, avant chaque mise à jour ou nouveau lancement de modèle, nous effectuons des tests sur plus de 700 000 travaux académiques supplémentaires rédigés avant la sortie de ChatGPT afin de valider davantage notre taux de faux positifs inférieur à 1 %. »)

Cette déclaration décrit un vaste corpus, situe les travaux avant la sortie de ChatGPT et indique que les tests précèdent chaque mise à jour ou nouveau modèle. Elle ne dit pas que de nouveaux travaux sont collectés à chaque test. Le livre blanc d'août 2024 décrit séparément un jeu de données antérieur à 2019, utilisé pour un test de résistance, comme entièrement rédigé par des humains.

Citez le seuil de détection et le corpus de test avec le taux. Ni la taille ni l'ancienneté du corpus ne font du résultat une garantie pour chaque discipline, style d'écriture ou document soumis.

L'élément le plus important de la documentation n'est pas l'objectif de 1 % en soi. C'est le compromis que Turnitin accepte explicitement pour l'atteindre. La déclaration complète indique : « In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing. » (« Afin de maintenir ce taux faible de 1 % de faux positifs, il est possible que nous passions à côté de certains textes rédigés par IA dans un document. Nous sommes à l'aise avec cela car nous ne voulons pas signaler à tort un texte rédigé par un humain comme étant d'origine IA. Par exemple, si nous identifions que 50 % d'un document est probablement rédigé par un outil IA, il pourrait contenir jusqu'à 65 % de texte IA. »)

L'éditeur explicite son compromis : il accepte de manquer du texte IA pour réduire le risque de signaler à tort du texte humain. Cela explique un choix de conception, sans préciser quel type d'erreur s'est produit dans un rapport individuel.

L'exemple des 50 % et 65 % illustre une sous-estimation possible. Ce n'est ni une formule de conversion, ni une limite supérieure applicable à d'autres documents, ni la preuve que toutes les erreurs vont dans le même sens. La même documentation reconnaît que du texte humain peut être classé à tort comme généré par IA.

Une fois que vous gardez la condition attachée, le « taux de faux positifs » devient un outil plus précis que la version titre. Voici ce que les chiffres documentés impliquent réellement.

Premièrement, distinguez le pourcentage IA affiché de l'origine réelle du texte. Le seuil de 20 % appartient à une règle de détection. Un travail entièrement humain peut le franchir : c'est précisément le faux positif que le test doit compter.

Deuxièmement, les textes IA non détectés font partie de la conception. Puisque le système se règle contre les faux positifs, certains contenus IA passent à travers. Un score rapporté qui n'est pas élevé ne signifie pas de façon fiable que le document est entièrement humain. Cela peut signifier que le contenu IA a été sous-estimé.

Troisièmement, accepter de manquer du texte IA ne démontre pas qu'un score élevé soit plus fiable dans votre cas. L'exemple cité ne mesure pas la fiabilité d'un score de 80 %. Il faut toujours examiner les passages et les preuves de leur rédaction.

Un score faible ne prouve pas une rédaction humaine, et un score élevé ne démontre pas une faute académique. Le compromis cité ne suffit pas à comparer la fréquence des non-détections et des faux positifs dans votre contexte. Voir ce que votre instructeur doit faire lorsque votre pourcentage d'IA est élevé.

Les recommandations propres à Turnitin placent le score dans un cadre de décision plus large. La documentation indique : « Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student. » (« Notre modèle de détection de rédaction IA peut ne pas toujours être précis (il peut identifier à tort un texte rédigé par un humain, généré par IA ou paraphrasé par IA), il ne doit donc pas servir de seul fondement à des mesures défavorables contre un étudiant. »)

Elle poursuit : « It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred. » (« Il faut un examen approfondi et un jugement humain, combinés à l'application par l'établissement de ses politiques académiques spécifiques, pour déterminer s'il y a eu faute académique. »)

C'est dans ce cadre que sont censés évoluer étudiants et éducateurs. Le pourcentage est un point de données. Le verdict est une décision prise par des humains : l'enseignant, le département, l'institution, appliquant leurs propres politiques académiques. Turnitin affirme elle-même que le score ne doit pas porter seul la décision. L'entreprise gère également un canal pour l'erreur elle-même : comment signaler un faux positif à Turnitin.

Si vous contestez un score, la voie documentée consiste à traiter le chiffre comme un point de données et à en parler avec la personne qui dispose du contexte académique — votre instructeur. C'est l'étape décrite dans les documents officiels, et c'est l'étape la plus cohérente avec le cadrage propre à l'entreprise. Si cela ne résout pas le problème, comment faire appel d'un faux signal de détection d'IA et quelles preuves votre université acceptera décrit la suite.

Conservez le rapport original et les traces de rédaction pour cette discussion. Si vous décidez ensuite de réviser le document, le traitement de HumanPen à partir du rapport porte sur les passages signalés ; il ne détermine pas si le signalement initial était correct.