Os 4% de falsos positivos por frase da Turnitin: o que significavam em 2023

A explicação da Turnitin de junho de 2023 descrevia cerca de 4% das frases já marcadas como escritas por IA como possivelmente humanas. É uma estatística sobre frases sinalizadas, não uma probabilidade calibrada para uma frase específica do seu relatório atual. Também não é a porcentagem de todas as frases humanas que serão sinalizadas.

A Chief Product Officer da Turnitin, Annie Chechitelli, explicou assim em junho de 2023:

"Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (A nossa taxa de falsos positivos por frase é de cerca de 4%. Isso significa que há 4% de probabilidade de que uma frase específica marcada como escrita por IA tenha sido escrita por um ser humano. A ocorrência é mais comum em documentos que misturam conteúdo escrito por seres humanos e por IA, sobretudo nas transições entre um e outro.)

A condição é que a frase já tenha sido sinalizada. A taxa de falsos positivos por documento, por sua vez, mede com que frequência documentos humanos acionam uma regra de detecção. Os denominadores são diferentes; uma porcentagem não pode ser convertida na outra.

O mesmo texto de junho de 2023 também apresenta uma cifra por documento:

"Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (Nossa taxa de falsos positivos por documento, ou seja, identificar incorretamente texto inteiramente humano como gerado por IA, é inferior a 1% quando o critério de classificação exige um resultado de detecção de escrita de IA de 20% ou mais.)

A formulação pode confundir: os 20% se referem ao resultado do detector, não a uma quantidade conhecida de escrita de IA realmente presente. O white paper de agosto de 2024 da Turnitin explica uma regra de decisão por documento em que mais de 20% das pontuações das frases ultrapassam um limiar do modelo. Ele testa falsos positivos em trabalhos estudantis anteriores a 2019, descritos como inteiramente humanos. Um falso positivo é um desses trabalhos humanos que ultrapassa o limiar de detecção.

Trabalhos inteiramente humanos são exatamente o que um teste de falsos positivos por documento precisa. Eles não são excluídos porque a regra de detecção usa um limiar de 20%.

O texto de 2023 diz que frases sinalizadas por engano são mais comuns em documentos mistos, sobretudo nas transições entre escrita humana e de IA. Mais comuns não significa exclusivas. Isso não descarta marcações erradas em trabalhos inteiramente humanos.

A meta inferior a 1% descreve a frequência com que documentos humanos acionam a regra indicada nas condições de teste do fornecedor. Não significa que um trabalho sinalizado tenha menos de 1% de chance de ser humano. Isso inverteria a condição medida.

As duas cifras ajudam a explicar a possibilidade de erro. Nenhuma identifica o autor do seu trecho específico. Examine o texto sinalizado e o processo de escrita, em vez de usar uma taxa como veredicto.

A Turnitin divulgou um dado específico sobre onde essas frases marcadas por engano aparecem:

"As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (Como expliquei no meu artigo anterior, há uma correlação entre essas frases e a proximidade delas, no documento, em relação à escrita por IA de fato. Em 54% dos casos, essas frases estão localizadas logo ao lado de escrita por IA de fato.)

Essas frases são frases humanas que foram sinalizadas incorretamente. Segundo a explicação de 2023, 54% estavam ao lado de texto realmente escrito por IA. Isso descreve uma concentração observada de erros, não uma regra que cubra todo falso positivo.

A observação não permite diagnosticar a causa de uma marcação no seu trabalho. Não prova que exista texto de IA por perto nem exclui um erro quando ele não existe. Use os trechos sinalizados para orientar a revisão; estatísticas de proximidade não estabelecem autoria.

O mesmo post deixa claro que um destaque é um ponto de partida, não uma constatação, e diz isso aos professores, que são exatamente quem você quer que leia:

"Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (Considere as frases destacadas como áreas de interesse, porque a previsão é que estejam perto de onde há escrita por IA. Mas em uma pequena porcentagem das vezes o modelo de IA pode errar. Portanto, use a informação para iniciar uma conversa, não para chegar a uma conclusão.)

Também descarta aquilo com que os estudantes mais vezes imaginam estar sendo medidos. Não existe um número que você deva atingir:

"Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (Lembre-se de que não existe uma pontuação "correta" nem uma pontuação "alvo" no indicador de escrita por IA, assim como no Similarity Score.)

Nada disso lhe diz se você está em apuros, porque nenhum número publicado diz. O que isso lhe dá é uma forma de manter a conversa no próprio relatório, e não em uma porcentagem.

• Pergunte quais trechos são, e peça o relatório em vez de uma captura de tela. Duas frases destacadas e um número por documento são objetos diferentes. Os destaques são a única parte com uma localização que você pode apontar.
• Pergunte qual taxa está sendo citada e o que ela mede. O limiar de 20% diz respeito ao resultado do detector. A taxa de falsos positivos por documento é medida em trabalhos humanos; não é a probabilidade de que o seu trabalho específico, já sinalizado, seja humano.
• Leve com você a orientação da própria Turnitin. Ela diz aos professores para usarem um destaque para começar uma conversa, não para chegar a uma conclusão. Essa frase é dirigida à pessoa que tem o seu relatório na mão, e está citada acima palavra por palavra.
• Guarde o que mostra como o trabalho foi escrito — rascunhos, histórico de versões, anotações, as leituras que você fez. Isso é prova de autoria. Uma porcentagem não é.