Pourquoi un même texte obtient un score différent sur chaque détecteur

Le chiffre publié le plus clair vient de l’étude de Stanford sur les écrivains non natifs, que l’on cite surtout pour son taux de faux positifs spectaculaire. Regardez plutôt les deux chiffres qui se trouvent en dessous.

• 89 dissertations sur 91 (97,80 %) ont été signalées comme rédigées par une IA par au moins un des sept détecteurs.
• 18 sur 91 (19,78 %) l’ont été par les sept.

Il reste donc 71 dissertations — quatre sur cinq dans le corpus — pour lesquelles les sept décisions binaires n’étaient pas unanimes. Les comptages publiés démontrent un désaccord sur la classification, même s’ils ne nous disent pas de combien les scores sous-jacents s’écartaient dans chaque cas.

Pour ces dissertations, l’outil retenu par un établissement pouvait décider de l’apparition ou non d’un signalement. C’est un problème de dépendance au produit, ce n’est pas la preuve qu’un détecteur particulier avait toujours tort.

La date compte. L’étude a capturé sept produits au début de l’année 2023, et plusieurs ont depuis changé de modèle, de seuils ou d’interface de rapport. Elle ne doit pas servir de classement actuel. Son résultat durable est d’ordre méthodologique : les sorties des détecteurs ne sont pas interchangeables, si bien que le score d’un fournisseur ne peut ni valider ni annuler celui d’un autre sans une comparaison nouvelle et contrôlée.

Même une nouvelle analyse chez le même fournisseur peut différer si le service a été mis à jour silencieusement, si le compte n’a pas les mêmes fonctions activées ou si le document a été analysé autrement. La reproductibilité demande donc plus que de conserver la prose : gardez le fichier d’origine, le rapport, la date, la formule du produit, le paramètre de langue et, si elle est disponible, la version du modèle. Une capture d’écran affichant un seul pourcentage, sans ce contexte, est difficile à vérifier après coup.

Parce qu’ils ne sont pas des mises en œuvre d’une même mesure. Ce sont des produits différents.

• Des modèles sous-jacents différents. Un détecteur qui mesure la perplexité face à GPT-2 et un autre qui fait tourner un classifieur d’apprentissage profond entraîné pour cela ne posent pas la même question à la même phrase.
• Des architectures qui évoluent dans le temps. GPTZero a abandonné la perplexité et le burstiness à l’automne 2023 ; d’autres ne l’ont pas fait. Comparer des fournisseurs, c’est en partie comparer des générations de méthode.
• Des distributions d’entraînement différentes. Ce qui compte comme une écriture humaine ordinaire dépend des textes que le classifieur a vus. C’est le mécanisme qui explique le biais envers les anglophones non natifs, et il varie selon le fournisseur.
• Des seuils et des règles d’affichage différents. Turnitin masque désormais les scores numériques de 1 à 19 % ; d’autres affichent un chiffre à tous les niveaux. Le même signal de fond peut donc être présenté différemment avant même que vous le voyiez.
• Des unités différentes. Un pourcentage peut désigner la confiance accordée au document, un autre la part des phrases étiquetées comme IA, un troisième la part de la prose éligible. Des chiffres en apparence identiques n’ont pas forcément la même signification.
• Un prétraitement différent. Les outils peuvent supprimer les références, ignorer les listes à puces, découper les phrases autrement ou tronquer les documents longs. Ils peuvent donc noter un texte différent alors qu’ils semblent recevoir le même fichier.

La longueur accentue ces écarts. Un détecteur qui exige plusieurs centaines de mots peut exploiter des motifs à l’échelle du document ; un outil en ligne qui accepte un seul paragraphe s’appuiera plutôt sur des indices locaux. La langue compte aussi : rien ne garantit qu’un modèle calibré pour l’anglais se comporte de la même façon sur des passages traduits ou sur une bibliographie bilingue.

Les définitions données par les fournisseurs eux-mêmes expliquent pourquoi des pourcentages en apparence identiques ne se comparent pas tant qu’on ignore l’unité. Vérifié le 28 août 2026 :

Turnitin communique donc une part d’un sous-ensemble éligible du document, tandis que les trois autres exemples communiquent une confiance autour d’une étiquette de classe. Le même symbole, le pourcentage, fait des travaux mathématiques différents. Convertir le chiffre d’un fournisseur dans l’échelle d’un autre n’est pas un second avis : cela change la question posée.

Les propres pages publiques de GPTZero rendent le problème d’unité visible sans comparer deux entreprises. Sa documentation d’API et la page de son détecteur web décrivent deux sorties distinctes, toutes deux avec un signe pourcentage. Vérifié le 28 août 2026 :

Il peut s’agir de champs de sortie distincts plutôt que d’une contradiction. La règle pratique consiste à nommer la surface du produit et le champ. Une phrase nue comme « GPTZero a renvoyé 30 % » ne permet pas de savoir quelle grandeur ce chiffre représente.

Le même décalage d’unité apparaît dans deux descriptions actuelles émanant de fournisseurs chinois. La formulation citée ci-dessous a été vérifiée le 28 août 2026.

Ces formulations associent le même symbole visuel à des grandeurs différentes : probabilité de présence d’un côté, part de texte suspect de l’autre. Une valeur de 30 % sur une page ne peut pas être mise à côté d’un 30 % sur l’autre sans avoir d’abord changé d’unité, et aucune des deux pages ne publie de règle de conversion.

Il y a une difficulté supplémentaire quand on compare des scores. Dans un banc d’essai, certaines sorties de détecteurs se regroupent près de 0 ou de 1, tandis que d’autres occupent davantage l’échelle. Cela ne signifie pas forcément que le modèle sous-jacent n’a pas de score continu : le seuillage, l’arrondi et l’interface peuvent donner à un signal continu l’apparence d’un signal binaire.

HumanizerBench, qui fait passer cinq détecteurs commerciaux sur chaque échantillon, utilise la médiane plutôt que la moyenne précisément pour cette raison : quand le jeu contient des détecteurs qui binarisent, une seule valeur aberrante déplace la moyenne jusqu’à 0,25. Sa page de méthodologie le dit sans détour.

Une moyenne sur de telles sorties est mathématiquement possible, mais son interprétation reste floue quand les entrées utilisent des unités et des calibrations différentes. Une médiane réduit l’influence d’une valeur extrême ; elle ne révèle pas la vérité terrain et ne rend pas les détecteurs composants indépendants. HumanizerBench est un banc d’essai de produits publié, pas une étude de validation institutionnelle : son choix d’agrégation doit être lu dans ce périmètre.

Le vote majoritaire a une limite du même ordre. Cinq outils corrélés, entraînés sur des corpus qui se recoupent, ne sont pas cinq témoins indépendants. L’accord peut refléter des angles morts partagés, et le désaccord rien de plus que des seuils différents. Sans ensembles de test étiquetés, composés de textes humains et générés correspondant à la population visée, il n’existe aucune façon rigoureuse de transformer ces votes en probabilité de paternité.

Quatre choses en découlent, aucune ne concerne la technique d’écriture.

• Dans une procédure institutionnelle en cours, identifiez le rapport réellement utilisé. Interroger un autre fournisseur vous dit ce que ce fournisseur en pense ; cela ne reproduit ni l’outil, ni les réglages, ni la version de l’établissement.
• Un second avis qui vous disculpe n’est pas une exonération, et un second avis qui vous signale n’est pas une preuve. Les deux sont la sortie d’un seul classifieur appliquée à un texte dont plusieurs autres classifieurs lisent les propriétés autrement.
• Demandez à quoi sert le score. Turnitin indique que son modèle peut se tromper sur un texte et qu’il ne doit pas être le seul fondement d’une décision défavorable. Le résultat d’un détecteur est une donnée versée au dossier, pas un constat d’inconduite.
• Si vous comparez des outils pour une recherche, gardez les conditions constantes. Même version, saisie complète, même langue, même date et même corpus étiqueté ; consignez aussi les échecs et le texte exclu, pas seulement le chiffre affiché.

Pour un recours, des captures d’écran qui se contredisent ajoutent surtout du bruit. Les preuves de processus — brouillons, notes, annotations des sources, historique des révisions et capacité à expliquer ses choix — parlent de la paternité bien plus directement qu’un classifieur opaque de plus. Pour un enseignant, le désaccord est une raison de concevoir une procédure de corroboration avant l’arrivée d’un cas difficile, pas après.

Pour un achat, comparez l’erreur par sous-groupe et par genre de texte plutôt que de demander quel fournisseur annonce la meilleure exactitude globale. Exigez une politique de mise à jour documentée, une piste d’audit des versions de rapport, des règles claires sur le texte éligible et un export auquel les étudiants puissent répondre utilement. Le désaccord devient moins dangereux quand l’établissement sait exactement ce que l’outil apporte et a défini les preuves susceptibles de primer sur lui.

Pour savoir ce que ce chiffre mesure au départ, voyez ce que les détecteurs d’IA mesurent réellement.