Como verificar a alegação de um humanizador de IA de que "preserva a sua formatação"

Uma alegação sobre formatação só pode ser verificada se nomear quatro coisas: qual elemento, em que camada do arquivo, de quantos e contado como. "Preserva as suas citações" não nomeia nenhuma delas. "Os cabeçalhos Markdown presentes na entrada sobreviveram em 291 de 552 casos" nomeia as quatro, e você pode discordar dela.

O resto daqui é esse teste aplicado ao único conjunto de dados aberto que consegui encontrar nesta categoria — que acaba sendo publicado por um concorrente e ainda assim é a coisa mais verificável por aqui — e depois aos nossos próprios números, lacunas incluídas.

A pergunta sobre a camada é a que costuma ficar de fora, e é justamente a que decide se um número significa alguma coisa para uma tese. Um sinal de hash no início de uma linha e um estilo Título 2 em `word/document.xml` são objetos diferentes, com modos de falha diferentes. Uma ferramenta pode ser perfeita em um e desastrosa no outro.

Comece por quem publica, porque uma alegação herda os interesses de quem a faz.

O conjunto de dados que todos nesta categoria citam é o HumanizerBench, e a sua página sobre o projeto traz uma frase que a maioria dos benchmarks esconderia: "We're operated by WriteHuman, which sells one of the humanizers on this leaderboard." (Somos operados pela WriteHuman, que vende um dos humanizadores desta classificação.) Todas as páginas do site terminam com a mesma admissão no rodapé, e a WriteHuman ocupa o primeiro lugar no ciclo citado abaixo. Portanto não é um benchmark independente, e uma citação que o chame assim pulou uma etapa.

O que ele é, em vez disso, é a coisa mais rara: publica os arquivos. Cada entrada, cada saída e cada veredito do detector do ciclo de agosto de 2026 está em um repositório público sob licença CC BY 4.0. Um benchmark administrado por um concorrente que entrega os dados brutos pode ser verificado por um estranho; um resumo de tom neutro sem nada para baixar não pode. As duas metades precisam viajar juntas, e é a segunda metade que faz os números abaixo valerem alguma coisa.

O ciclo é de 12 ferramentas por 33 amostras, 396 testes concluídos. Contando os elementos que estavam presentes em uma entrada e voltaram na saída correspondente:

Agora as quatro perguntas. Elemento: nomeado. Denominador: publicado. Método de contagem: uma regra que você mesmo pode aplicar, já que um cabeçalho Markdown é uma linha que começa com um hash e um trecho em negrito é o texto entre dois asteriscos, e a sobrevivência é limitada ao que a entrada realmente tinha, de modo que nenhuma ferramenta ganha crédito por inventar um cabeçalho que nunca existiu. Baixe o ciclo, aplique essa regra, e você vai chegar a esses dois números ou descobrir onde eu errei. Camada: caracteres Markdown em texto simples. Tudo o que há naquele conjunto de dados foi colado em uma caixa e copiado de volta; nenhum `.docx` entrou em cena em momento algum.

Essa última linha não é uma crítica ao benchmark, que nunca afirmou o contrário. É o que você precisa levar consigo quando um fornecedor a cita para você.

As mesmas quatro perguntas, apontadas para nós. E a primeira coisa a dizer é a que decide quanto peso isto merece: medimos a nossa própria saída, em arquivos que escolhemos, com o nosso próprio script. É um fornecedor medindo a si mesmo.

Pegamos três pares de antes e depois, abrimos cada arquivo como um zip e percorremos o `word/document.xml`. As contagens de parágrafos voltaram idênticas nos três (345, 403 e 405, respectivamente). Os parágrafos com estilo de título somaram 152 na entrada e 152 na saída em todo o conjunto. A única tabela do corpus não mudou: 7 linhas e 14 células.

Elemento: parágrafos, estilos de título, linhas e células de tabela. Camada: DOCX. Denominador: declarado. Método de contagem: um script que lê o XML em vez de perguntar ao produto o que ele fez.

E a parte que você não pode verificar: os arquivos são nossos e não os publicamos, então ninguém fora desta empresa pode chegar a 152 recontando. Essa é uma fraqueza real do número, e prefiro dizê-la a disfarçá-la. O que se transfere é o procedimento — os seis passos mais abaixo, executados em um documento seu em vez de um que escolhemos.

E agora as partes que uma página de marketing deixaria de fora.

A formulação de um título não é coberta por esse número. No documento de 46 títulos, 18 voltaram reformulados na configuração equilibrada, ainda com o mesmo estilo. Sobreviver como título e sobreviver inalterado são duas alegações diferentes, e só a primeira é medida acima.

Vários elementos nunca foram testados, porque o corpus não continha nenhum. Procurar nos pacotes os marcadores de um campo de sumário, de uma referência cruzada e de uma nota de rodapé não devolve nada nos três arquivos. Isso deixa a nossa contagem em silêncio justamente sobre os elementos de que uma tese mais depende. "A tabela sobreviveu" é uma medição. "As referências cruzadas sobrevivem" seria uma inferência, e você deve aplicar essa distinção à versão dessa frase de quem quer que seja, inclusive a nossa.

Aqui está uma falha que detectamos na nossa própria pesquisa, e é por isso que confio mais nas quatro perguntas do que no resumo de quem quer que seja.

Um relatório interno sobre aquele conjunto de dados público trazia uma linha dizendo que quatro ferramentas nomeadas tinham marcado 0% em sobrevivência de títulos. Recontando a partir dos dados brutos, a lista estava certa, mas pertencia à coluna do negrito. Em títulos, uma daquelas quatro empresas está em 58,7%. Se aquilo tivesse sido publicado, teríamos divulgado um 0% sobre uma empresa cujos dados públicos dizem o contrário, e qualquer pessoa poderia ter demonstrado isso em cinco minutos, baixando o mesmo arquivo.

O número era real. Apenas tinha se soltado daquilo que media, a um documento de distância da fonte.

Daí vem uma quinta pergunta, e é a mais barata de fazer: consigo voltar aos dados brutos a partir daqui, e quem os produziu? Se a resposta for um post de blog citando outro post de blog, o número já viajou mais longe do que poderia ir em segurança. Se os dados brutos estão a um clique de distância, mas quem os publicou vende uma ferramenta na mesma tabela, você ainda pode usá-los — só precisa dizer as duas coisas ao mesmo tempo, sempre.

Você não precisa de um benchmark para verificar uma ferramenta que está considerando. Precisa de um arquivo propositalmente difícil.

1. Monte um documento de teste com um de cada: dois níveis de título, um sumário automático, uma referência cruzada para uma figura numerada, uma nota de rodapé, uma lista numerada, uma tabela de duas colunas com um número e uma unidade em uma célula, uma frase citada e três citações no texto vindas do seu gerenciador de referências.
2. Anote as contagens antes de enviar o arquivo. Referências, notas de rodapé, linhas e células de tabela, títulos, itens de lista.
3. Passe-o pela ferramenta.
4. Abra o resultado, selecione tudo e atualize os campos (Ctrl+A, depois F9). Um campo ativo se atualiza na sua frente. Um campo convertido em caracteres comuns tem a mesma aparência e não faz nada, e esta é a maneira de distingui-los em dois segundos sem abrir o XML.
5. Reconte e depois compare a formulação separadamente da estrutura. Um título que continua sendo um título mas diz outra coisa é um resultado, não uma falha — mas você precisa saber qual dos dois obteve.
6. Leia a frase citada e a célula com o número nela. Esses dois são os pontos onde uma reescrita fluente causa o dano que você não vê em uma leitura rápida.

Meia hora disso diz mais sobre o seu próprio arquivo do que qualquer página de comparação desta categoria consegue, inclusive a nossa. Páginas de comparação, a nossa tanto quanto a de qualquer um, são escritas sobre os documentos de outra pessoa.

A ferramenta HumanPen é uma ferramenta de documentos, por isso a camada do arquivo é a que nos interessa, e as contagens acima são o que medimos nela. Quatro elementos continuam sem ser medidos por nós, e eles são nomeados neste artigo em vez de deixados de fora.

A parte que é uma decisão de design e não uma medição: nunca é reescrito nada menor do que um parágrafo inteiro, e uma seleção que caia no meio de um é ampliada para esse parágrafo e colocada diante de você para confirmar primeiro. Um relatório importado pode definir esse limite no seu lugar. A cobrança é feita a partir das próprias palavras reescritas, o que é um fato de preços e não uma alegação de preservação, e eu o listo aqui só porque os dois são vendidos como uma única frase. A nossa própria FAQ ainda termina com "Review complex documents after download" (Revise documentos complexos depois de baixá-los), que é a instrução correta e não é uma que planejemos suavizar.

A alegação é estreita de propósito: menos parágrafos alterados significa menos lugares onde tudo isso pode dar errado.

Existe algum benchmark independente para isso? Não que eu consiga encontrar. Há um conjunto de dados aberto, o HumanizerBench, publicado sob CC BY 4.0 — mas é operado pela WriteHuman, que vende uma das ferramentas que ele classifica, portanto independente é a palavra errada para ele. Ele é verificável em vez de independente, e essas são propriedades diferentes: os arquivos brutos podem ser baixados, o que já é mais do que a maior parte desta categoria oferece. Ele também mede a formatação Markdown em texto simples, e não qualquer coisa dentro de um `.docx`. Para a camada do documento não consegui encontrar nenhum conjunto de dados público, e é por isso que o arquivo "faça você mesmo" acima vale a meia hora.

Uma ferramenta diz ter uma taxa de preservação de 99%. Isso é bom? Impossível responder como está escrito. Pergunte qual elemento, em que camada do arquivo, de quantos e contado como. Uma taxa sem denominador e sem elemento nomeado não é uma medição.

Qual é a verificação mais rápida de todas? Ctrl+A e depois F9 no Word. Ela separa os campos ativos do texto que apenas se parece com eles, e leva dois segundos.

Por que os títulos sobrevivem, mas as listas de referências às vezes não? Mecanismos diferentes. Um título é um estilo ligado a um parágrafo, e isso sobrevive à reescrita das palavras dentro dele. Uma lista de referências é conteúdo, portanto mudar ou não depende inteiramente de ela estar ou não no escopo da reescrita, para começo de conversa.