Os estudantes estão escrevendo pior para escapar da detecção de IA. E isso se volta contra eles.

Uma publicação na comunidade r/Professors do Reddit reuniu recentemente 690 upvotes, e a discussão que provocou revela uma tendência que nos preocupa. Os estudantes estão escrevendo pior de propósito, simplificando o vocabulário, encurtando as frases e retirando a estrutura das redações, tudo para não disparar as ferramentas de detecção de IA.

A ironia é grande. Segundo a própria documentação da Turnitin, o texto com maior chance de ser marcado por engano como gerado por IA é aquele com pouca variação estrutural, com repetições e com paráfrases sem novas ideias. Em outras palavras: o estilo que os estudantes adotam para “parecer menos IA” é exatamente o estilo com o qual o detector diz ter dificuldade. Escrever pior não ajuda você a escapar da detecção. Faz o seu texto se encaixar no perfil do que é marcado por engano. A versão mais ampla da pergunta, se você deve mudar a sua forma de escrever para evitar ser marcado, tem a mesma resposta pelo mesmo motivo.

A página de perguntas frequentes da Turnitin sobre detecção de escrita por IA é incomumente franca quanto a onde a ferramenta produz falsos positivos. A documentação afirma: “Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.” (Às vezes os falsos positivos — marcar por engano como gerado por IA um texto escrito por um ser humano — podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.) A frase seguinte acrescenta: “If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.” (Se o nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em conta ao observar a porcentagem indicada.) (fonte)

Lidas juntas, essas duas frases deixam o problema claro. As características que disparam os falsos positivos são as mesmas que os estudantes introduzem quando simplificam a própria escrita de propósito. Menos variação estrutural? É isso que acontece quando você nivela os seus padrões de frase. Texto que se repete? É isso que acontece quando você evita formulações variadas. Parafrasear sem desenvolver novas ideias? É isso que acontece quando você remove a análise para manter tudo simples.

A estratégia se autodestrói. Os estudantes que escrevem pior para evitar marcações de IA estão aproximando o próprio texto do perfil dos falsos positivos, e não afastando ele dali.

Entre os estudantes, é comum a suposição de que os detectores de IA marcam textos “complexos” ou “bem-acabados”. A lógica é a seguinte: se a IA escreve de forma sofisticada, escrever de forma menos sofisticada deveria evitar a detecção. Essa suposição não se sustenta diante do que a Turnitin realmente diz sobre o seu modelo.

As perguntas frequentes da Turnitin afirmam: “Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.” (O nosso modelo não é programado explicitamente para avaliar sinais específicos como 'burstiness,' 'perplexity,' ou outras métricas individuais às vezes citadas em discussões públicas.) A frase seguinte explica: “Instead, it learns statistical patterns from our training data.” (Em vez disso, ele aprende padrões estatísticos a partir dos nossos dados de treinamento.) (fonte)

Isso é importante, mas não significa que o modelo ignore a probabilidade das palavras. Na mesma página, a Turnitin afirma: “Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.” (Os nossos classificadores são treinados para detectar essas diferenças na probabilidade das palavras e conhecem bem as sequências de probabilidade características de quem escreve como ser humano.) (fonte)

Junte essas duas afirmações e o quadro muda. O modelo não faz uma verificação simples do tipo “palavras complexas é igual a IA”. Ele aprende padrões estatísticos a partir dos dados de treinamento e é treinado especificamente nas diferenças de probabilidade das palavras. Simplificar o seu vocabulário ou nivelar a estrutura das suas frases de propósito não engana um reconhecimento de padrões. Muda os padrões do seu texto, e não necessariamente numa direção que ajude você.

A relação entre qualidade da escrita e pontuações de IA é mais complexa do que a fórmula “simples é igual a humano, complexo é igual a IA”. Os estudantes que tentam explorar essa relação escrevendo pior partem de um modelo de detecção que a documentação não confirma. O que os detectores de IA medem além de perplexity e burstiness é o olhar mais atento sobre aquilo a que esses modelos realmente reagem.

Aqui está algo que quase nunca vemos ser mencionado nessas discussões: a própria documentação da Turnitin diz que a pontuação de IA não deve ser tratada como um veredito. Os estudantes que entram em pânico com as marcações de IA talvez não saibam que o próprio fornecedor recomenda cautela.

O guia do AI Writing Report afirma: “Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.” (O nosso modelo de detecção de escrita por IA pode não ser sempre preciso — ele pode identificar mal texto escrito por humanos, gerado por IA e parafraseado por IA —, portanto não deve ser usado como única base para medidas adversas contra um estudante.) A frase seguinte continua: “It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.” (É preciso mais exame e julgamento humano, em conjunto com a aplicação pela instituição das suas políticas acadêmicas específicas, para determinar se houve má conduta acadêmica.) (fonte)

Um guia separado para educadores reforça esse enquadramento: “It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.” (Ele não tem o objetivo de dar respostas definitivas de forma isolada. Mais importante do que qualquer ferramenta é o educador que vê a pontuação e toma decisões equilibrando essa informação com o conhecimento pessoal que tem dos seus alunos, do trabalho deles e das políticas da instituição.) A frase seguinte acrescenta: “When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.” (Quando os educadores olham a pontuação de escrita por IA e a utilizam como um dado isolado em vez de uma resposta definitiva, então ela está sendo usada como pretendido.) (fonte)

A pontuação é um dado de entrada, não um veredito. Os estudantes não precisam degradar a própria escrita para se proteger de uma ferramenta que, segundo o próprio fornecedor, nunca deveria ser a única base para medidas adversas.

O dano dessa estratégia vai além das pontuações de IA. Quando os estudantes simplificam a própria escrita de propósito, prejudicam as notas. Redações sem variação estrutural, sem análise e sem vocabulário variado são redações mais fracas. Os professores avaliam a qualidade, não as pontuações de IA, e uma redação degradada de propósito parecerá um trabalho mais fraco para quem a ler com atenção.

E o dano se acumula com o tempo. Escrever é uma habilidade que se desenvolve com a prática. Quando os estudantes se treinam para escrever pior, estão praticando as habilidades erradas. Acostumam-se a nivelar a própria prosa, a evitar a complexidade e a produzir texto que se repete sem desenvolver ideias. Esses hábitos se estendem para trabalhos futuros, candidaturas de emprego e comunicação profissional.

Coloque na balança. De um lado: uma estratégia que não funciona, baseada numa compreensão errada de como o detector opera, usada para evitar uma pontuação que a documentação diz não dever ser um veredito. Do outro: notas mais baixas, habilidades de escrita em declínio e hábitos que persistem muito depois de o trabalho ser entregue. O custo de escrever pior é real. O benefício não é.

Se você é estudante e está preocupado com a detecção de IA, a documentação oferece um enquadramento melhor do que a autossabotagem. Escreva o seu melhor trabalho. Entenda que a pontuação de IA é um dado isolado, não uma resposta definitiva. Saiba que as próprias orientações da Turnitin dizem que a pontuação não deve ser a única base para medidas adversas. Se você teme um falso positivo, converse com o seu professor; marcado, mas foi você quem escreveu mostra como se preparar para essa conversa. A documentação prevê esse cenário e incluiu o julgamento humano exatamente por isso.

A tendência de escrever pior para escapar da detecção de IA se baseia numa compreensão errada daquilo a que o detector reage e do que a pontuação significa. A documentação não sustenta essa estratégia. O modelo não funciona como os estudantes supõem. E a pontuação nunca foi pensada como um veredito. Escrever pior sacrifica as suas notas e as suas habilidades em troca de uma proteção de que você não precisa e de uma estratégia que provavelmente sai pela culatra.