O Turnitin usa perplexidade e burstiness para detectar IA?

O modelo do Turnitin não é programado explicitamente para avaliar "burstiness" ou "perplexidade" como métricas individuais. É um classificador baseado em transformers que aprende padrões estatísticos dos dados de treinamento, inclusive padrões de probabilidade das palavras. Portanto, a afirmação popular de que o Turnitin confere duas pontuações específicas e sinaliza o seu texto se elas caírem na faixa errada está errada quanto ao mecanismo, embora a intuição de fundo, de que é a probabilidade das palavras que separa o texto de IA do texto humano, não esteja totalmente fora de rumo.

A correção importa porque o conselho construído sobre o mecanismo errado falha de um modo específico. Se você acredita que o Turnitin calcula um número de perplexidade, tenta mover esse número. Se o que ele faz de fato é classificar o texto por padrões de probabilidade das palavras aprendidos ao longo de segmentos sobrepostos, então mover uma única métrica de superfície pode mudar o que o classificador vê, ou pode não mudar. Já escrevemos em termos gerais sobre o que os detectores de IA medem; este artigo se concentra em um único detector e nas duas métricas que quase todo mundo cita.

O FAQ sobre os recursos de detecção de escrita por IA do Turnitin traz uma negativa direta. A frase que todos continuam citando, e a frase logo depois que todos continuam deixando de fora:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (Nosso modelo não é programado explicitamente para avaliar sinais específicos como "burstiness", "perplexidade" ou outras métricas individuais às vezes mencionadas em discussões públicas.) "Instead, it learns statistical patterns from our training data." (Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.)

O mesmo parágrafo continua: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Como resultado, seus resultados são gerados por muitos padrões aprendidos que atuam em conjunto, e não por um pequeno conjunto de regras transparentes e legíveis por pessoas. Por isso, previsões individuais nem sempre podem ser explicadas em termos simples, característica por característica.)

Leia essas quatro frases em conjunto e a negativa ganha um contorno preciso. O Turnitin está dizendo: não temos um módulo que calcule um número de burstiness, não temos um módulo que calcule um número de perplexidade, e não colocamos esses dois números em um limite. É a negativa de uma arquitetura específica. Não é a negativa de que a probabilidade das palavras esteja envolvida.

Esta é a frase, na mesma página, que transforma uma negativa simples em algo mais complicado. Sob a pergunta sobre quais parâmetros ou sinais o modelo leva em conta, o Turnitin escreve:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e dominam as sequências de probabilidade das palavras típicas de quem escreve.)

Assim, o mesmo FAQ que diz que o modelo não é programado para avaliar perplexidade também diz que o classificador é treinado para detectar diferenças na probabilidade das palavras. As duas afirmações não são contraditórias, mas você precisa sustentá-las ao mesmo tempo para não ler nenhuma das duas de forma errada.

A perplexidade, como conceito, é uma medida de quão previsível é uma sequência de palavras sob um modelo de linguagem. Um modelo de linguagem atribui probabilidades às palavras, e a perplexidade resume o quanto o modelo se surpreendeu com a palavra que de fato veio a seguir em cada passo. Perplexidade baixa quer dizer que o modelo achou o texto previsível. Perplexidade alta quer dizer o contrário. A razão pela qual o texto gerado por IA tende a ter perplexidade baixa é que os modelos de linguagem produzem texto amostrando de suas próprias distribuições de probabilidade, de modo que o resultado cai numa faixa de probabilidades que o modelo já considerava prováveis.

Essa é a conexão. O Turnitin não calcula um índice de perplexidade e não o compara com um limite. Mas o classificador dele é treinado com padrões de probabilidade das palavras, e a perplexidade é uma forma de resumir a probabilidade das palavras. A negativa é sobre o mecanismo, não sobre o sinal.

A diferença prática é esta. Um sistema que calcula a perplexidade como métrica com nome dá a você um alvo claro: reduza o número de perplexidade e você reduz a chance de ser sinalizado. Um sistema que aprende padrões de probabilidade das palavras como parte de um classificador maior não dá esse alvo claro, porque o classificador combina muitos padrões aprendidos e o resultado não se reduz a uma única pontuação que você possa acompanhar. Nós examinamos como ler um relatório de escrita por IA do Turnitin e o número que aparece nele é uma porcentagem única, mas essa porcentagem é uma agregação de muitas classificações em nível de segmento, e não a leitura de um medidor de perplexidade.

A descrição publicada pelo Turnitin de como o modelo processa um trabalho está na mesma página de FAQ:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e divididas em seções sobrepostas para análise de previsão. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase elegível dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas frases podem ter várias pontuações, que depois são reunidas em uma única pontuação. Essas pontuações de frase são ainda agregadas e usadas para calcular a pontuação geral de escrita por IA do documento.)

O fluxo é o seguinte: extrair as frases, cortá-las em segmentos sobrepostos, classificar cada segmento numa escala de 0 a 1, deixar que as frases elegíveis herdem as pontuações dos segmentos que as cobrem, reunir as pontuações sobrepostas e então agregar tudo na porcentagem do documento que você vê no relatório.

A sobreposição é a parte que quebra a história simples da métrica. Uma frase perto da borda de um segmento também está dentro do segmento seguinte, então recebe pontuações de ambos. Quando essas pontuações são reunidas, o que recai sobre uma frase depende em parte do que recai sobre as vizinhas. Uma frase que você reescreveu para soar menos previsível ainda pode herdar uma pontuação alta de um segmento que cobre também a frase ao lado, se essa vizinha trouxer padrões que o classificador aprendeu a associar a texto de IA.

É por isso que os detectores discordam tantas vezes sobre o mesmo documento. Dois classificadores treinados com dados diferentes, segmentando em limites diferentes e reunindo de formas diferentes, vão produzir pontuações diferentes para o mesmo texto, mesmo que ambos estejam reagindo aos mesmos padrões de fundo de probabilidade das palavras. A discordância não é ruído em torno de uma leitura verdadeira de perplexidade. São dois classificadores aprendidos diferentes produzindo duas agregações diferentes.

Se o Turnitin calculasse um índice de perplexidade, a estratégia seria simples. Você mediria a perplexidade do seu texto, reescreveria até o número se mover e enviaria de novo. As ferramentas que prometem "reduzir a perplexidade" vendem exatamente esse fluxo, e o texto de marketing delas é a principal fonte da confusão sobre o mecanismo do Turnitin.

Mas se o que o Turnitin faz é classificar segmentos com um modelo que aprendeu padrões de probabilidade das palavras junto com muitos outros padrões, a estratégia não se sustenta. Você não tem um número para mover. Você tem a saída de um classificador que responde à distribuição geral das características aprendidas em todo o documento, reunida em janelas sobrepostas. Uma reescrita que torna uma passagem menos previsível isoladamente pode ou não mudar as pontuações reunidas que a cobrem, porque o classificador lê o segmento, não a frase, e o segmento inclui o que está de um lado e de outro.

Há uma segunda consequência. A mesma página de FAQ define o que o modelo considera texto elegível:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto elegível inclui apenas frases em prosa, o que significa que analisamos apenas blocos de texto escritos em frases gramaticais padrão e não incluímos outros tipos de escrita como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)

A frase seguinte é: "This percentage is not necessarily the percentage of the entire submission." (Esta porcentagem não é necessariamente a porcentagem de todo o envio.) Listas, marcadores e outras estruturas que não são frases ficam fora da análise. Portanto, uma reescrita que converte prosa em marcadores para quebrar um padrão não está reduzindo um índice de perplexidade. Ela está retirando o texto daquilo que é pontuado, e a porcentagem é calculada sobre a prosa elegível que sobra. É uma operação diferente, com um perfil de risco diferente, e vale a pena entender qual das duas você está fazendo.

A história da burstiness e da perplexidade não é aleatória. Ela vem dos primeiros trabalhos acadêmicos sobre detecção de texto de IA, em que os pesquisadores de fato usavam essas duas métricas como características em classificadores experimentais, e em que a diferença de distribuição entre texto de IA e texto humano nesses dois eixos era mensurável e intuitiva. Quem escreve varia o comprimento das frases mais do que um modelo de linguagem, e as escolhas de palavras de uma pessoa são menos previsíveis do que as de um modelo. A burstiness capturava a primeira coisa, a perplexidade a segunda.

A história pegou porque é fácil de explicar e porque sugere uma ação clara: varie o comprimento das suas frases, escolha palavras menos previsíveis. As duas coisas são razoáveis. O problema é que o Turnitin diz expressamente que não constrói o detector calculando essas duas métricas com nome, de modo que a ação clara está ligada a uma descrição errada do que o detector faz. Quando o detector evolui, e o do Turnitin evoluiu várias vezes desde 2023, a ação deixa de corresponder a qualquer coisa no sistema, mas o conselho continua circulando porque a história é simples e a pesquisa original de que ela veio era real.

É também por isso que as ferramentas de humanização criadas para atacar perplexidade e burstiness como métricas com nome tendem a perder eficácia com o tempo. O detector para o qual foram projetadas nunca foi exatamente o detector que o Turnitin descreve, e a cada iteração do modelo do Turnitin aumenta a distância entre o que a ferramenta mira e o que o classificador realmente lê.

A ferramenta HumanPen é uma ferramenta de reescrita de documentos, e a decisão de projeto relevante aqui é que não tentamos mover uma métrica com nome. Reescrevemos as passagens que o relatório de escrita por IA sinalizou, e fazemos isso mudando a linguagem concreta dessas passagens, em vez de empurrar um número que supomos estar por baixo do relatório.

A razão é a que este artigo vem percorrendo. Se o classificador lê padrões de probabilidade das palavras ao longo de segmentos sobrepostos, o que muda a saída dele é mudar a linguagem dentro desses segmentos, e não mover um número num painel. Uma ferramenta que diz ter reduzido a sua perplexidade em determinada quantidade está falando de um número que ela mesma calculou, não de um número que o Turnitin calculou. O único número que o Turnitin produz é a porcentagem no relatório, e essa porcentagem é uma agregação de classificações em nível de segmento, não a leitura de um medidor de perplexidade.

A cobrança considera apenas as palavras efetivamente reescritas. Se um relatório novo sobre o texto reescrito ainda sinalizar passagens, você pode importar esse relatório e rodar novamente apenas essas passagens, sem custo.

O que não vamos dizer a você é o que o seu próximo relatório vai dizer. A nossa própria página diz que a ferramenta busca preservar sentido, estrutura, terminologia, citações, layout e estilos enquanto reescreve apenas a linguagem necessária, e depois diz para revisar documentos complexos após o download. As duas metades disso são para valer.

O Turnitin verifica a perplexidade? Não como métrica com nome. O FAQ do Turnitin diz que o modelo dele é "not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions," (não programado explicitamente para avaliar sinais específicos como "burstiness", "perplexidade" ou outras métricas individuais às vezes mencionadas em discussões públicas,) e acrescenta que "it learns statistical patterns from our training data." (ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) A mesma página diz que os classificadores dele são "trained to detect these differences in word probability," (treinados para detectar essas diferenças na probabilidade das palavras,) e a perplexidade é uma medida da probabilidade das palavras. O sinal está lá, portanto, mas não é calculado como uma pontuação isolada.

O Turnitin verifica a burstiness? A mesma resposta. A burstiness, que descreve a variação no comprimento e na estrutura das frases, não é uma métrica com nome no modelo do Turnitin. O classificador pode aprender padrões relacionados à variação das frases como parte do treinamento, mas não existe um módulo que calcule um número de burstiness e o compare com um limite.

Então a explicação popular está completamente errada? Não completamente. A intuição por trás dela, de que o texto de IA é mais previsível que o humano na escolha das palavras e na estrutura das frases, está correta na direção. O que está errado é a afirmação de que o Turnitin calcula duas pontuações com nome e sinaliza o seu texto com base nelas. O Turnitin diz que não faz isso, e o mecanismo que descreve em vez disso, um classificador transformer lendo segmentos sobrepostos, é uma arquitetura diferente, com fraquezas diferentes.

Se o Turnitin não usa essas métricas, o que ele usa? Um classificador baseado em transformers que lê segmentos sobrepostos do seu texto, atribui a cada segmento uma probabilidade de ter sido gerado por IA, reúne essas pontuações nas janelas sobrepostas e as agrega numa porcentagem em nível de documento. O classificador é treinado com padrões de probabilidade das palavras de textos humanos e de IA. Tratamos da mecânica em nível de segmento com mais detalhe em o que os detectores de IA medem.

Por que ferramentas que prometem reduzir a perplexidade às vezes funcionam mesmo assim? Porque as mudanças de linguagem que reduzem um índice de perplexidade calculado, usar palavras menos previsíveis, variar a estrutura, também são o tipo de mudança que pode deslocar o que um classificador de probabilidade das palavras vê. A ferramenta está mirando a métrica errada, mas algumas das edições que faz acabam mudando o sinal certo. O descompasso aparece com o tempo: a cada iteração do classificador, a correlação entre a métrica-alvo da ferramenta e a fronteira de decisão real do classificador se desloca, e a ferramenta perde eficácia sem mudar nada em si mesma.

Isso significa que devo parar de tentar tornar a minha escrita menos previsível? Significa que o objetivo está certo, mas a métrica não. Um texto que varia na estrutura e não cai em padrões genéricos tem menos chance de coincidir com o que o classificador aprendeu como típico de IA. O erro está em pensar que você está movendo uma pontuação com nome num mostrador, quando na verdade está mudando a linguagem que o classificador lê em janelas sobrepostas. Isso vale a pena fazer, só não é o que a explicação popular diz que você está fazendo.