Entenda a Taxa de Falsos Positivos da Turnitin

A Turnitin declara a meta diretamente na documentação dela: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Buscamos melhorar a eficácia do detector e manter abaixo de 1% a taxa de textos inteiramente humanos classificados por engano como gerados por IA, sob uma condição de detecção do documento superior a 20% de escrita sinalizada como IA.)

A condição de 20% se refere ao resultado do detector, não a uma quantidade de texto de IA já comprovada no trabalho. O documento técnico de agosto de 2024 da Turnitin descreve uma regra para documentos: mais de 20% das pontuações das frases ultrapassam um limiar do modelo. O teste de falsos positivos usa trabalhos que a empresa descreve como inteiramente humanos. O erro contado é um trabalho humano ultrapassar esse limiar de detecção.

A taxa de falsos positivos por documento indica com que frequência documentos humanos acionam a regra de detecção. Ela não fornece a probabilidade de um trabalho já sinalizado ser humano. As perguntas invertem a condição, e o resultado do teste sozinho não responde à segunda. Uma pontuação alta também precisa de revisão: um score de 100% de IA na Turnitin ainda pode ser humano?

As perguntas frequentes da Turnitin descrevem os testes por trás da meta: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Para reforçar nosso framework de testes e diagnosticar tendências estatísticas de falsos positivos, antes de cada atualização ou lançamento de novo modelo, realizamos testes em mais de 700.000 trabalhos acadêmicos adicionais que foram escritos antes do lançamento do ChatGPT para validar ainda mais nossa taxa de falso positivo inferior a 1%.)

A declaração apresenta um corpus grande, situa os trabalhos antes do lançamento do ChatGPT e diz que os testes ocorrem antes de cada atualização ou novo modelo. Não diz que novos trabalhos são coletados a cada teste. Separadamente, o documento técnico de agosto de 2024 descreve como inteiramente humano um conjunto anterior a 2019 usado em um teste de estresse.

Ao citar a taxa, informe também o limiar de detecção e o corpus de teste. Nem o tamanho nem a idade do corpus tornam o resultado uma garantia para toda disciplina, estilo de escrita ou submissão individual.

A parte mais importante da documentação não é a meta de 1% em si. É a compensação que a Turnitin aceita explicitamente para atingi-la. A declaração completa diz: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Para manter essa taxa baixa de 1% de falsos positivos, há uma chance de que possamos deixar passar algum texto escrito por IA em um documento. Estamos confortáveis com isso, pois não queremos destacar incorretamente texto escrito por humanos como escrito por IA. Por exemplo, se identificarmos que 50% de um documento foi provavelmente escrito por uma ferramenta de IA, ele pode conter até 65% de escrita por IA.)

A empresa explicita sua escolha: aceita deixar passar parte do texto de IA para reduzir o risco de sinalizar texto humano por engano. Isso explica o projeto, mas não informa qual tipo de erro ocorreu em um relatório individual.

O exemplo de 50% e 65% ilustra uma possível subestimação. Não é uma fórmula de conversão, um limite superior para outros documentos nem uma prova de que todo erro vai na mesma direção. A mesma documentação reconhece que texto humano pode ser identificado incorretamente como gerado por IA.

Quando você mantém o qualificador ligado, a "taxa de falso positivo" vira uma ferramenta mais precisa do que a versão de manchete. Veja o que os números documentados realmente implicam.

Primeiro, diferencie a porcentagem de IA informada da autoria real. O corte de 20% pertence a uma regra de detecção. Um trabalho inteiramente humano pode ultrapassá-lo; esse é justamente o falso positivo que o teste procura contar.

Segundo, deixar passar texto de IA faz parte do design. Como o sistema se ajusta contra falsos positivos, algum texto de IA passa. Um score que não é alto não significa confiavelmente que o documento é totalmente humano. Pode significar que o conteúdo de IA foi subestimado.

Terceiro, aceitar deixar passar parte do texto de IA não demonstra que uma pontuação alta seja mais confiável no seu caso. O exemplo citado não quantifica a confiabilidade de uma pontuação de 80%. Ainda é necessário examinar os trechos e as evidências de como foram escritos.

Uma pontuação baixa não prova autoria humana, e uma alta não demonstra má conduta acadêmica. A escolha citada não compara, por si só, a frequência das detecções perdidas com a dos falsos positivos no seu contexto. Veja o que seu instrutor deve fazer quando sua porcentagem de IA é alta.

A própria orientação da Turnitin coloca o score dentro de um framework de decisão maior. A documentação afirma: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Nosso modelo de detecção de escrita por IA pode nem sempre ser preciso (pode identificar erroneamente texto escrito por humanos, gerado por IA e paráfrase por IA), então não deve ser usado como única base para ações adversas contra um estudante.)

Continua: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (É necessário escrutínio adicional e julgamento humano, em conjunto com a aplicação das políticas acadêmicas específicas de uma organização, para determinar se houve má conduta acadêmica.)

Esse é o contexto no qual estudantes e educadores devem operar. A porcentagem é um ponto de dado. O veredito é uma decisão tomada por humanos: o instrutor, o departamento, a instituição, aplicando suas próprias políticas acadêmicas. A própria Turnitin diz que o score não deve carregar a decisão sozinho. A empresa também mantém um canal para o próprio erro: como reportar um falso positivo à Turnitin.

Se você discorda de um score, o caminho documentado é tratar o número como um ponto de dado e levantar com a pessoa que tem o contexto acadêmico — seu instrutor. Esse é o passo que os documentos oficiais descrevem, e é o passo mais consistente com o próprio enquadramento da empresa. Se isso não resolver, como recorrer de uma sinalização falsa de detecção de IA e que evidência sua universidade aceitará descreve o que vem depois.

Guarde o relatório original e os registros de escrita para essa conversa. Se depois decidir revisar o documento, o fluxo da HumanPen baseado no relatório trabalha nos trechos sinalizados; ele não determina se a sinalização original estava correta.