Perplexity e burstiness explicados: quais detectores de IA realmente os usam

Perplexity é uma medida de previsibilidade das palavras. Quando um modelo de linguagem lê uma frase, ele atribui uma probabilidade a cada palavra com base nas palavras que vieram antes. Se a palavra seguinte é muito previsível, a perplexity daquela palavra é baixa. Se a palavra seguinte é inesperada, a perplexity é alta. A perplexity de um texto inteiro é basicamente a média de quão previsíveis foram as escolhas de palavras ao longo dele.

Pense assim. Se você escrever "O experimento mostrou uma diferença," a próxima palavra muito provavelmente será "significativa", "clara" ou "expressiva". São palavras de probabilidade alta. Se, em vez disso, a próxima palavra for "abacaxi", a probabilidade é baixa, e a perplexity naquela posição dispara. Um texto que escolhe sempre a palavra mais esperada tem perplexity geral baixa. Um texto que faz escolhas inesperadas tem perplexity mais alta.

Textos gerados por IA tendem a ter perplexity baixa porque os modelos de linguagem são projetados para escolher a próxima palavra mais provável. Eles otimizam a probabilidade contextual, o que faz com que as escolhas de palavras caiam em padrões previsíveis. A escrita humana, ao contrário, costuma trazer escolhas menos previsíveis, verbos incomuns, substantivos específicos de uma área ou formulações que um modelo de linguagem não teria escolhido. Essa diferença é real e mensurável. A questão é se todo detector de IA usa perplexity como parte do algoritmo que ele realmente roda, e a resposta é não.

Burstiness é uma medida de variação na estrutura das frases. Se todas as frases de um parágrafo têm mais ou menos o mesmo tamanho, a mesma estrutura gramatical e o mesmo ritmo, a burstiness é baixa. Se as frases variam bastante, umas curtas e diretas, outras longas e complexas com orações subordinadas, a burstiness é alta.

A escrita humana tende a ter burstiness maior do que a de textos gerados por IA. A gente escreve em rajadas. A gente mistura uma frase curta e direta com uma mais longa que traz um comentário entre parênteses. A gente quebra o padrão quando quer enfatizar um ponto. Os modelos de IA tendem a produzir estruturas de frase mais uniformes porque otimizam consistência estatística. O resultado é um texto que corre bem na leitura, mas tem menos variação estrutural.

A burstiness virou uma métrica de detecção popular porque captura algo real sobre como a escrita humana e a escrita de IA diferem. Humanos são irregulares. Modelos de IA são consistentes. Um detector que mede burstiness está olhando se a estrutura das suas frases varia o suficiente para parecer humana. Como a perplexity, a burstiness é um conceito útil. E, também como a perplexity, não é uma métrica que todo detector calcula.

Foi o GPTZero que colocou os dois termos em circulação, e a página deles hoje se lê em duas camadas. O texto de 2023 continua no ar: descreve perplexity como uma medida de quão imprevisível é o texto, burstiness como uma medida de variação no nível da frase, e as duas juntas como a camada estatística do modelo de detecção. No topo dessa mesma página, o GPTZero afirma que desde o outono de 2023 não usa mais perplexity e burstiness na sua detecção de IA, depois de migrar para uma arquitetura de deep learning. Vale conhecer os dois termos, porque eles nomeiam algo real sobre o texto. O que eles não descrevem mais é como aquele detector decide.

O Turnitin segue outro caminho. A FAQ oficial deles diz: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Nosso modelo não é programado explicitamente para avaliar sinais específicos como “burstiness”, “perplexity” ou outras métricas individuais às vezes citadas em discussões públicas.) A frase seguinte diz: "Instead, it learns statistical patterns from our training data." (Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) Isso é uma negativa direta e explícita de que o Turnitin calcule essas duas métricas.

O motivo pelo qual essa distinção importa é que as duas ferramentas às vezes classificam o mesmo texto de formas diferentes — só que não pela razão que costumam dar. Um texto montado para ter alta burstiness e alta perplexity foi ajustado para um alvo que nenhuma das duas empresas afirma calcular hoje: o GPTZero diz que parou de usar essas métricas no outono de 2023, e o Turnitin diz que seu classificador aprendeu padrões a partir dos dados de treinamento sem calcular nenhuma das duas. Conselhos que mandam você "aumentar sua burstiness" ou "reduzir sua perplexity" foram calibrados para a era estatística da detecção, e a documentação pública das duas empresas não permite verificar se eles ainda fazem alguma diferença.

Se o Turnitin não calcula nem perplexity nem burstiness, o que ele usa? A documentação descreve um classificador que aprende padrões estatísticos a partir dos dados de treinamento e depois os aplica a trechos do seu texto.

O Turnitin afirma: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." (Nosso modelo não é programado explicitamente para avaliar sinais específicos como “burstiness”, “perplexity” ou outras métricas individuais às vezes citadas em discussões públicas. Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) O classificador não roda uma fórmula de perplexity nem uma fórmula de burstiness. Ele aplica padrões internalizados durante o treinamento, padrões que envolvem a probabilidade das palavras, mas que não se reduzem a um único escore com nome próprio.

A mesma página de FAQ confirma no que o classificador se concentra: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e são proficientes nas sequências específicas de probabilidade de palavras típicas de quem escreve como humano.) A probabilidade das palavras está no centro do que o classificador do Turnitin aprendeu, mas o modelo a processa por meio de padrões aprendidos, e não por um cálculo explícito de perplexity.

O mecanismo é baseado em segmentos. O Turnitin descreve assim: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e divididas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA.) Os segmentos se sobrepõem, as frases herdam os escores, vários escores são reunidos, e a agregação final produz a porcentagem do documento. Nesse encadeamento não existe uma etapa em que perplexity ou burstiness seja calculada.

O Turnitin também observa: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Como resultado, seus resultados são produzidos por muitos padrões aprendidos atuando em conjunto, e não por um pequeno conjunto de regras transparentes e legíveis por humanos. Por esse motivo, previsões individuais nem sempre podem ser explicadas de forma simples, atributo por atributo.) O processo de decisão do modelo não é algo que você consiga desmontar acompanhando um punhado de métricas.

A conclusão prática é simples. Se você ler um conselho dizendo para "reduzir sua perplexity para vencer o Turnitin", esse conselho nasce de um mal-entendido sobre a ferramenta: o Turnitin diz que seu modelo nunca foi explicitamente programado para avaliar esse sinal. E as dicas construídas sobre burstiness e perplexity pertencem à era estatística da detecção, que o GPTZero diz ter deixado no outono de 2023 — elas não batem mais com o que cada uma das duas ferramentas diz de si mesma hoje.

O ponto é que o classificador do Turnitin não usa esses conceitos como métricas nomeadas. Ele aprendeu padrões estatísticos a partir dos dados de treinamento, padrões que incluem informações de probabilidade das palavras, e os aplica ao seu texto. Você não pode otimizar para uma métrica que o classificador não calcula. O que dá para fazer é escrever de formas que reflitam uma autoria humana genuína, com variação natural na escolha das palavras e na estrutura, diferente dos padrões que os modelos de IA produzem.

Passagens elegíveis podem ser reprocessadas sem custo. Experimente aqui.