Comment vérifier l'affirmation d'un humaniseur d'IA selon laquelle il préserve votre mise en forme

Une affirmation sur la mise en forme ne peut être vérifiée que si elle nomme quatre choses : quel élément, dans quelle couche de fichier, sur combien, compté comment. « Préserve vos citations » n'en nomme aucune. « Les titres Markdown présents dans l'entrée ont survécu dans 291 cas sur 552 » les nomme toutes les quatre, et vous pouvez être en désaccord.

Le reste, c'est le test, appliqué au seul jeu de données ouvert que j'aie trouvé dans cette catégorie — qui se trouve être publié par un concurrent, et qui reste pourtant ce qu'il y a de plus vérifiable ici — puis à nos propres chiffres, lacunes comprises.

La question de la couche est celle qu'on saute, et c'est celle qui décide si un chiffre signifie quoi que ce soit pour une thèse. Un dièse en début de ligne et un style Titre 2 dans `word/document.xml` sont des objets différents, avec des modes de défaillance différents. Un outil peut être parfait sur l'un et désespérant sur l'autre.

Commençons par qui le publie, car une affirmation hérite des intérêts de celui qui la formule.

Le jeu de données que tout le monde cite dans cette catégorie est HumanizerBench, et sa page « à propos » porte une phrase que la plupart des benchmarks enterreraient : "We're operated by WriteHuman, which sells one of the humanizers on this leaderboard." (Nous sommes gérés par WriteHuman, qui vend l'un des humaniseurs de ce classement.) Chaque page du site se termine par le même aveu en pied de page, et WriteHuman occupe la première place du cycle cité plus bas. Ce n'est donc pas un benchmark indépendant, et une citation qui le qualifie ainsi a sauté une étape.

Ce qu'il est à la place, c'est la chose plus rare. Il publie les fichiers. Chaque entrée, chaque sortie et chaque verdict de détecteur du cycle d'août 2026 se trouve dans un dépôt public sous CC BY 4.0. Un benchmark dirigé par un concurrent qui livre les données brutes peut être vérifié par un inconnu ; une synthèse au ton neutre sans rien à télécharger ne le peut pas. Les deux moitiés doivent voyager ensemble, et c'est la seconde qui fait que les chiffres ci-dessous valent quelque chose.

Le cycle compte 12 outils et 33 échantillons, soit 396 tests achevés. On compte les éléments présents dans une entrée et revenus dans la sortie correspondante :

Maintenant les quatre questions. Élément : nommé. Dénominateur : publié. Méthode de comptage : une règle que vous pouvez appliquer vous-même, puisqu'un titre Markdown est une ligne commençant par un dièse et qu'un passage en gras est du texte entre deux astérisques, et que la survie est plafonnée à ce que l'entrée contenait réellement : aucun outil ne gagne de crédit à inventer un titre qui n'a jamais existé. Téléchargez le cycle, appliquez cette règle, et vous retomberez sur ces deux chiffres ou vous découvrirez où je me suis trompé. Couche : caractères Markdown en texte brut. Tout ce que contient ce jeu de données a été collé dans une case puis ressorti ; aucun `.docx` n'est intervenu à un moment ou à un autre.

Cette dernière remarque n'est pas une critique du benchmark, qui n'a jamais prétendu autre chose. C'est ce que vous devez garder en tête quand un vendeur vous la sort.

Les mêmes quatre questions, pointées vers nous. Et la première chose à dire est celle qui décide du poids que cela mérite : nous avons mesuré notre propre sortie, sur des fichiers que nous avons choisis, avec notre propre script. C'est un vendeur qui se mesure lui-même.

Nous avons pris trois paires avant-après, ouvert chaque fichier comme une archive zip et parcouru `word/document.xml`. Le nombre de paragraphes est revenu identique dans les trois (345, 403 et 405 respectivement). Les paragraphes au style de titre totalisaient 152 à l'entrée et 152 à la sortie. La seule table du corpus est restée inchangée, à 7 lignes et 14 cellules.

Élément : paragraphes, styles de titre, lignes et cellules de tableau. Couche : DOCX. Dénominateur : énoncé. Méthode de comptage : un script qui lit le XML plutôt que de demander au produit ce qu'il a fait.

Et la partie que vous ne pouvez pas vérifier : les fichiers sont les nôtres et nous ne les publions pas, donc personne hors de cette entreprise ne peut retrouver 152 en recomptant. C'est une vraie faiblesse de ce chiffre, et je préfère la nommer plutôt que la maquiller. Ce qui se transpose, c'est la procédure : les six étapes plus bas, appliquées à un document qui vous appartient au lieu d'un fichier que nous avons choisi.

Et maintenant les parties qu'une page marketing omettrait.

Le libellé d'un titre n'est pas couvert par ce chiffre. Sur le document à 46 titres, 18 titres sont revenus reformulés avec le réglage équilibré, tout en conservant le même style. Survivre comme titre et survivre inchangé sont deux affirmations différentes, et seule la première est mesurée ci-dessus.

Plusieurs éléments n'ont jamais été testés, parce que le corpus n'en contenait aucun. Chercher dans les paquets les marqueurs d'un champ de table des matières, d'un renvoi et d'une note de bas de page ne renvoie rien dans les trois fichiers. Notre comptage reste donc muet précisément sur les éléments dont une thèse dépend le plus. « La table a survécu » est une mesure. « Les renvois survivent » serait une inférence, et vous devez appliquer cette distinction à la version de n'importe qui, y compris la nôtre.

Voici une erreur que nous avons attrapée dans nos propres recherches, et c'est pourquoi je fais plus confiance aux quatre questions qu'au résumé de qui que ce soit.

Une note interne sur ce jeu de données public comportait une ligne disant que quatre outils nommés avaient marqué 0 % de survie des titres. En recomptant à partir des données brutes, la liste était juste mais elle appartenait à la colonne gras. Sur les titres, l'une de ces quatre entreprises est à 58,7 %. Si c'était parti comme ça, nous aurions publié un 0 % sur une entreprise dont les données publiques disent le contraire, et n'importe qui aurait pu le démontrer en cinq minutes en téléchargeant le même fichier.

Le chiffre était réel. Il s'était simplement détaché de ce qu'il mesurait, à un document de la source.

D'où une cinquième question, et c'est la moins chère à poser : puis-je remonter d'ici jusqu'aux données brutes, et qui les a produites ? Si la réponse est un article de blog qui cite un article de blog, le chiffre a déjà voyagé plus loin qu'il ne peut aller sans risque. Si les données brutes sont à un clic mais que ceux qui les ont publiées vendent un outil dans le même tableau, vous pouvez quand même les utiliser : il faut simplement dire les deux choses en même temps, chaque fois.

Pas besoin d'un benchmark pour vérifier un outil que vous envisagez. Il vous faut un fichier délibérément pénible.

1. Construisez un document de test avec un exemplaire de chaque chose : deux niveaux de titre, une table des matières automatique, un renvoi vers une figure numérotée, une note de bas de page, une liste numérotée, un tableau à deux colonnes avec un nombre et une unité dans une cellule, une phrase citée, et trois citations dans le texte issues de votre gestionnaire bibliographique.
2. Notez les comptages avant de téléverser. Références, notes de bas de page, lignes et cellules de tableau, titres, éléments de liste.
3. Passez-le dans l'outil.
4. Ouvrez le résultat, sélectionnez tout et actualisez les champs (Ctrl+A, puis F9). Un champ actif se met à jour sous vos yeux. Un champ transformé en caractères ordinaires a exactement la même apparence et ne fait rien, et c'est la méthode en deux secondes pour les distinguer sans ouvrir le XML.
5. Recomptez, puis comparez le libellé séparément de la structure. Un titre qui reste un titre mais qui dit autre chose est un résultat, pas un échec, mais vous devez savoir lequel des deux vous avez obtenu.
6. Lisez la phrase citée et la cellule qui contient le nombre. Ces deux-là sont l'endroit où une réécriture fluide fait les dégâts qu'on ne voit pas en survolant.

Une demi-heure de cela vous en apprend plus sur votre propre fichier que n'importe quelle page de comparaison de cette catégorie, la nôtre comprise. Les pages de comparaison, la nôtre autant que celle de n'importe qui, sont écrites à propos des documents de quelqu'un d'autre.

L'outil HumanPen est un outil de documents : la couche fichier est donc celle qui nous intéresse, et les comptages ci-dessus sont ce que nous y avons mesuré. Quatre éléments restent non mesurés par nous, et ils sont nommés dans cet article plutôt que passés sous silence.

La partie qui relève d'un choix de conception plutôt que d'une mesure : rien de plus petit qu'un paragraphe entier n'est jamais réécrit, et une sélection tombant au milieu de l'un d'eux est élargie à ce paragraphe et vous est soumise d'abord pour confirmation. Un rapport importé peut fixer cette limite à votre place. La facturation est calculée sur les mots réécrits eux-mêmes, ce qui est un fait tarifaire et non une affirmation de préservation ; je ne le mentionne ici que parce que les deux se vendent comme une seule phrase. Notre propre FAQ se termine encore par "Review complex documents after download" (Relisez les documents complexes après téléchargement), ce qui est la bonne consigne et pas une consigne que nous comptons adoucir.

L'affirmation est étroite à dessein : moins de paragraphes modifiés, c'est moins d'endroits où tout cela peut mal tourner.

Existe-t-il un benchmark indépendant pour cela ? Pas un que je puisse trouver. Il existe un jeu de données ouvert, HumanizerBench, publié sous CC BY 4.0 — mais il est opéré par WriteHuman, qui vend l'un des outils qu'il classe : « indépendant » n'est donc pas le bon mot. Il est vérifiable plutôt qu'indépendant, et ce sont deux propriétés différentes : les fichiers bruts sont téléchargeables, ce qui est plus que ce que propose la majeure partie de cette catégorie. Il mesure aussi la mise en forme Markdown en texte brut plutôt que quoi que ce soit à l'intérieur d'un `.docx`. Pour la couche document, je n'ai trouvé aucun jeu de données public du tout, et c'est pourquoi le fichier à faire soi-même ci-dessus vaut la demi-heure.

Un outil annonce un taux de préservation de 99 %. Est-ce bon ? Tel quel, la question n'a pas de réponse. Demandez quel élément, dans quelle couche de fichier, sur combien, et compté comment. Un taux sans dénominateur et sans élément nommé n'est pas une mesure.

Quelle est la vérification la plus rapide ? Ctrl+A puis F9 dans Word. Elle sépare les champs actifs du texte qui leur ressemble seulement, et elle prend deux secondes.

Pourquoi les titres survivent-ils alors que les bibliographies parfois non ? Mécanismes différents. Un titre est un style attaché à un paragraphe, qui survit à la réécriture des mots qu'il contient. Une bibliographie est du contenu : le fait qu'elle change dépend donc entièrement de la question de savoir si elle se trouvait dans le périmètre de la réécriture.