Ce que mesurent les détecteurs d’IA au-delà de la perplexity et de la burstiness

Perplexity mesure à quel point vos choix de mots surprennent un modèle de langage. GPTZero, dont la page explicative a popularisé le terme, le définit comme la probabilité qu’un modèle d’IA choisisse exactement les mêmes mots que ceux trouvés dans un document. Si le mot suivant est celui que le modèle aurait prédit, la perplexity est faible. La règle empirique publiée à l’époque voulait qu’au-delà de 85, un texte soit plus probablement humain qu’autre chose.

Burstiness mesure la variation. Les humains font varier la construction de leurs phrases : une longue phrase composée, puis une courte et plate, puis un fragment. Les modèles de langage, dans les termes de GPTZero, écrivent avec un degré de « typicalité IA » très constant, si bien que leur burstiness reste faible.

Un détecteur statistique peut calculer ces valeurs pour des phrases ou des passages en faisant passer le texte dans un modèle de langage de référence et en mesurant à quel point il était prévisible. Le choix du modèle compte : une formulation qui surprend un modèle peut être banale pour un autre, parce qu’ils ont été entraînés sur des corpus différents et qu’ils découpent le texte en unités différentes.

Ces deux statistiques sont des propriétés du texte. Aucune n’est une propriété de la personne qui l’a écrit. Rien dans le calcul n’a accès à l’identité de qui a tapé quoi.

La perplexity n’est pas un pourcentage de paternité de l’IA. C’est généralement une moyenne transformée des probabilités du token suivant, et son échelle absolue dépend du modèle. La burstiness est encore moins normalisée : les fournisseurs peuvent utiliser la variation de la perplexity des phrases, de leur longueur, de la syntaxe, ou une combinaison propriétaire. Deux outils qui affichent le même mot peuvent donc rapporter des calculs différents.

Un détecteur complet a tout de même besoin d’une règle de décision. Il peut agréger les scores de phrase en un score de document, exiger un volume minimal de prose, lisser les phrases voisines et appliquer un seuil choisi pour arbitrer entre faux positifs et détections manquées. Ces choix de produit peuvent modifier le résultat annoncé, même quand les caractéristiques du texte sont identiques.

Une perplexity faible signifie des choix de mots prévisibles. Des choix de mots prévisibles ont de nombreuses causes, et le fait qu’un modèle ait généré le texte n’en est qu’une.

• Écrire dans une langue seconde. S’en tenir au vocabulaire que vous maîtrisez est une stratégie saine, et elle produit exactement cette signature ; c’est pourquoi 7 détecteurs ont mal classé 61 % des dissertations TOEFL écrites par des humains.
• Écrire dans un genre à conventions fixes. Une section méthodes, une définition juridique, un protocole de laboratoire. Les tournures figées y sont le registre approprié, pas un indice.
• Réviser pour la clarté. Supprimer les constructions inhabituelles et le rythme irrégulier peut rendre le vocabulaire plus prévisible, même si l’effet dépend du détecteur et du passage.
• Citer ou suivre de près un modèle type. Les déclarations d’éthique, les listes de contrôle de reporting et les définitions standard réutilisent délibérément un langage stable. Ce n’est pas parce que vous en êtes l’auteur que ces formules deviennent statistiquement inédites.
• Rédiger un extrait court. Avec moins de contexte, un seul paragraphe figé peut dominer le résultat. Certains fournisseurs imposent donc des règles de longueur minimale plutôt que de faire comme si chaque extrait se valait.

Cela ouvre une possibilité inconfortable : une révision prudente peut améliorer la lisibilité sans améliorer le résultat du détecteur. Le classement HumanizerBench en est une illustration : Grammarly y obtenait de bons résultats en préservation du sens et en lisibilité dans le test publié, mais affichait un taux de contournement de 0,0. Ce benchmark ne prouve pas pourquoi les détecteurs ont réagi ainsi, et il ne faut pas le généraliser au-delà de ses échantillons. Il montre en revanche que la qualité rédactionnelle et le contournement des détecteurs sont deux axes d’évaluation distincts.

La prévisibilité n’est ni du plagiat, ni une faute, ni la preuve d’une automatisation. Elle peut être une caractéristique d’une prose humaine claire, conventionnelle et soigneusement révisée.

C’est la partie que beaucoup d’explications sur les détecteurs laissent de côté. GPTZero indique en haut de sa propre page qu’à partir de l’automne 2023, il n’utilise plus la perplexity ni la burstiness pour la détection, après être passé à une architecture d’apprentissage profond. Plus bas, la même page décrit les méthodes statistiques comme des indicateurs au sein d’un système plus vaste, ce qui est un avertissement utile contre la tentation de réduire un produit mouvant à deux termes publics.

Turnitin publie les catégories du rapport, ses règles d’éligibilité et ses mises en garde, mais pas les poids du modèle, ni le corpus d’entraînement, ni la chaîne de caractéristiques nécessaires pour reproduire son classifieur. D’autres fournisseurs commerciaux divulguent des niveaux de détail différents. Une étiquette de produit comme « apprentissage profond » désigne une famille de méthodes, pas une mesure transparente.

La perplexity et la burstiness sont un modèle historique utile du comportement des détecteurs, pas une recette fiable pour prédire le score actuel d’un outil commercial.

Les classifieurs profonds peuvent apprendre des combinaisons de syntaxe, de sémantique et de régularités à longue portée difficiles à nommer séparément. Ils peuvent aussi être mis à jour sans que les anciens rapports soient recalculés. La version du détecteur, la couverture des modèles de langage et la date du rapport font donc partie des éléments de preuve. Un score sans ces précisions est moins reproductible qu’il n’y paraît.

Cela bloque aussi une inférence courante : un passage n’obtient pas un score élevé parce qu’il a une habitude visible, comme des transitions répétées ou des tirets longs. Supprimer une seule habitude peut ne rien changer, tandis que des modifications ordinaires ailleurs peuvent déplacer le résultat. Les listes de prétendus « mots d’IA » sont donc de mauvaises explications d’un classifieur et de mauvais conseils de révision.

Les mises à jour de modèles introduisent un décalage de distribution dans les deux sens. Un détecteur entraîné à séparer des dissertations humaines de 2023 de productions de modèles de 2023 peut ensuite affronter des modèles plus récents, de nouveaux outils de paraphrase et des pratiques d’écriture humaine changeantes. Une recalibration peut améliorer un genre et en dégrader un autre. La performance actuelle doit donc être mesurée sur des productions actuelles et sur de l’écriture humaine mise de côté, et non déduite d’un benchmark de lancement ou du nom de l’architecture.

Peu de choses sur la technique d’écriture, et beaucoup sur le poids qu’un chiffre mérite.

Un score est la sortie d’un classifieur appliqué à des propriétés du texte, entraîné et calibré sur une distribution particulière. Selon le fournisseur, le pourcentage affiché peut décrire la part du texte éligible classée dans une catégorie, plutôt que la probabilité que l’auteur ait utilisé une IA. C’est une preuve de la façon dont ce système a étiqueté ce document, pas une preuve directe concernant une personne.

• Vérifiez le dénominateur. Le chiffre est-il la confiance au niveau de la phrase, la confiance au niveau du document, ou la part de prose éligible ? Ce sont des grandeurs différentes.
• Vérifiez les conditions d’utilisation. La langue, la longueur minimale, le type de fichier pris en charge et le matériel exclu peuvent déterminer ce que le modèle a réellement évalué.
• Vérifiez la version et la date. Une mise à jour du fournisseur peut changer les classifications sans que la prose change.
• Vérifiez la règle de décision. Demandez si l’établissement utilise le résultat pour un tri, pour un entretien ou pour une conclusion formelle, et quels éléments de corroboration sont exigés.

Pour celles et ceux qui écrivent, le conseil qui tient est celui de la pratique ordinaire de l’auteur : gardez vos brouillons, vérifiez vos sources, conservez la trace de votre propre raisonnement et révisez pour le lecteur visé. Chercher à optimiser un classifieur caché remplace ces objectifs par une cible instable.

Pour celles et ceux qui décident, la calibration compte autant que le classement. Un classifieur peut placer les passages générés au-dessus des passages humains avec une certaine justesse tout en produisant des pourcentages qui ne correspondent à aucune probabilité réelle. Avant d’utiliser un score de façon opérationnelle, demandez ce que désigne le pourcentage, comment il a été calibré, sur quelle population, et comment la performance évolue au seuil choisi. Sans ces réponses, les décimales ajoutent de la précision à l’affichage, pas de la certitude à la conclusion.

Si vous voulez que les conséquences soient explicitées — ce qui se passe quand différents fournisseurs analysent le même paragraphe — lisez pourquoi un même texte obtient un score différent sur chaque détecteur. Et si vous avez déjà un rapport sous les yeux, comment lire un rapport d’écriture IA de Turnitin explique ce que mesure ce chiffre-là.