O que os detectores de IA medem além da perplexity e da burstiness

Perplexity mede o quanto as suas escolhas de palavras surpreendem um modelo de linguagem. O GPTZero, cujo texto explicativo popularizou o termo, define isso como a probabilidade de um modelo de IA escolher exatamente as mesmas palavras encontradas em um documento. Se a palavra seguinte é a que o modelo teria previsto, a perplexity é baixa. A regra prática que publicaram na época era que uma perplexity acima de 85 tornava mais provável que o texto fosse humano.

Burstiness mede a variação. Humanos variam a construção das frases: uma frase longa e composta, depois uma curta e direta, depois um fragmento. Os modelos de linguagem, nas palavras do GPTZero, escrevem com um nível muito constante de "semelhança com IA", e por isso a burstiness deles fica baixa.

Um detector estatístico pode calcular esses valores para frases ou trechos passando o texto por um modelo de linguagem de referência e medindo o quão previsível ele foi. A escolha do modelo importa: uma expressão que surpreende um modelo pode ser rotineira para outro, porque foram treinados com corpora diferentes e dividem o texto em tokens de formas diferentes.

As duas estatísticas são propriedades do texto. Nenhuma delas é uma propriedade de quem o escreveu. Não há nada no cálculo que tenha acesso a quem digitou o quê.

Perplexity não é uma porcentagem de autoria de IA. Normalmente é uma média transformada das probabilidades do próximo token, e sua escala absoluta depende do modelo. A burstiness é ainda menos padronizada: os fornecedores podem usar a variação da perplexity das frases, do comprimento, da sintaxe ou uma combinação proprietária. Assim, duas ferramentas que mostram a mesma palavra podem estar informando cálculos diferentes.

Um detector completo ainda precisa de uma regra de decisão. Ele pode somar os escores das frases em um escore do documento, exigir uma quantidade mínima de prosa, suavizar as frases vizinhas e aplicar um limiar escolhido para equilibrar falsos positivos e detecções perdidas. Essas escolhas de produto podem mudar o resultado informado mesmo quando as características do texto são idênticas.

Perplexity baixa significa escolha de palavras previsível. Escolha de palavras previsível tem muitas causas, e ter sido gerada por um modelo é apenas uma delas.

• Escrever em uma segunda língua. Ficar dentro do vocabulário que você domina com segurança é uma estratégia sensata e produz exatamente essa assinatura; é por isso que 7 detectores classificaram mal 61% das redações TOEFL escritas por humanos.
• Escrever em um gênero com convenções fixas. Uma seção de métodos, uma definição jurídica, um protocolo de laboratório. A linguagem formulaica é o registro correto ali, não um indício.
• Editar buscando clareza. Remover construções incomuns e um ritmo irregular pode tornar as palavras mais previsíveis, embora o efeito dependa do detector e do trecho.
• Citar ou seguir de perto um modelo pronto. Declarações de ética, listas de verificação para relatos e definições padrão reutilizam de propósito uma linguagem estável. Você ser o autor não torna essas frases estatisticamente novas.
• Escrever uma amostra curta. Com menos contexto, um único parágrafo formulaico pode dominar o resultado. Por isso alguns fornecedores impõem regras de tamanho mínimo em vez de fingir que qualquer trecho é igualmente avaliável.

Isso abre uma possibilidade incômoda: uma edição conservadora pode melhorar a legibilidade sem melhorar o resultado no detector. Um exemplo é o ranking do HumanizerBench, onde o Grammarly teve notas altas em preservação de sentido e legibilidade no teste publicado, mas uma taxa de evasão de 0,0. Esse benchmark não prova por que os detectores reagiram como reagiram, e não deve ser generalizado além das suas amostras. Ele mostra, sim, que qualidade de escrita e evasão de detectores são eixos de avaliação separados.

Previsibilidade não é plágio, nem má conduta, nem prova de automação. Ela pode ser uma característica de uma prosa humana clara, convencional e editada com cuidado.

Esta é a parte que muitos textos explicativos sobre detectores deixam de fora. O GPTZero afirma no topo da própria página que desde o outono de 2023 não usa mais perplexity e burstiness para detecção, depois de migrar para uma arquitetura de deep learning. Mais adiante, a mesma página descreve os métodos estatísticos como indicadores dentro de um sistema maior, o que é um aviso útil contra a tentação de reduzir um produto que muda a dois termos públicos.

O Turnitin publica as categorias do relatório, as regras de elegibilidade e as ressalvas, mas não os pesos do modelo, nem o corpus de treinamento, nem o encadeamento de características necessários para reproduzir o classificador. Outros fornecedores comerciais divulgam níveis diferentes de detalhe. Um rótulo de produto como "deep learning" identifica uma família de métodos, não uma medição transparente.

Perplexity e burstiness são um modelo histórico útil do comportamento dos detectores, não uma receita confiável para prever a pontuação atual de uma ferramenta comercial.

Classificadores profundos podem aprender combinações de sintaxe, semântica e padrões de longo alcance difíceis de nomear isoladamente. Eles também podem ser atualizados sem que os relatórios antigos sejam recalculados. Isso faz com que a versão do detector, a cobertura de modelos de linguagem e a data do relatório entrem na evidência. Uma pontuação sem esses detalhes é menos reprodutível do que parece.

Isso também bloqueia uma inferência comum: um trecho não recebe uma pontuação alta porque tem um hábito visível, como transições repetidas ou travessões longos. Remover um único hábito pode não mudar nada, enquanto edições comuns em outro lugar podem deslocar o resultado. Por isso, listas de supostas "palavras de IA" são explicações ruins de um classificador e conselhos ruins de edição.

As atualizações de modelos introduzem mudança de distribuição nos dois sentidos. Um detector treinado para separar redações humanas de 2023 de saídas de modelos de 2023 pode depois enfrentar modelos mais recentes, novos parafraseadores e práticas de escrita humana em mudança. Uma recalibração pode melhorar um gênero e piorar outro. Por isso o desempenho atual precisa ser medido em saídas atuais e em escrita humana separada para teste, e não inferido de um benchmark de lançamento ou do nome da arquitetura.

Pouca coisa sobre técnica de escrita, e bastante coisa sobre quanto peso um número merece.

Uma pontuação é a saída de um classificador sobre propriedades do texto, treinado e calibrado em uma distribuição específica. Dependendo do fornecedor, a porcentagem exibida pode descrever a fatia de texto elegível classificada em uma categoria, em vez da probabilidade de o autor ter usado IA. É evidência sobre como aquele sistema rotulou aquele documento, não evidência direta sobre uma pessoa.

• Confira o denominador. O número é a confiança da frase, a confiança do documento ou a proporção de prosa elegível? São grandezas diferentes.
• Confira as condições de uso. Idioma, tamanho mínimo, tipo de arquivo aceito e material excluído podem determinar o que o modelo avaliou.
• Confira a versão e a data. Uma atualização do fornecedor pode mudar classificações sem que a prosa mude.
• Confira a regra de decisão. Pergunte se a instituição usa o resultado para triagem, para uma conversa ou para uma conclusão formal, e que evidência de corroboração é exigida.

Para quem escreve, o conselho que permanece é a prática comum de autoria: guarde rascunhos, verifique as fontes, preserve o seu próprio raciocínio e edite pensando no leitor que você tem em mente. Tentar otimizar um classificador oculto troca esses objetivos por um alvo instável.

Para quem decide, a calibração importa tanto quanto a ordenação. Um classificador pode colocar trechos gerados acima de trechos humanos com razoável precisão e ainda assim atribuir porcentagens que não correspondem a probabilidades reais. Antes de uma pontuação ser usada de forma operacional, pergunte o que a porcentagem indica, como foi calibrada, em que população e como o desempenho muda no limiar escolhido. Sem essas respostas, as casas decimais acrescentam precisão à tela, não certeza à conclusão.

Se você quer ver as consequências explicadas — o que acontece quando fornecedores diferentes analisam o mesmo parágrafo — leia por que o mesmo texto tem pontuações diferentes em cada detector. E se você já tem um relatório na sua frente, como ler um relatório de escrita com IA do Turnitin explica o que esse número está medindo.