100% de IA no Turnitin: o texto ainda pode ser humano?

Sim. Um documento escrito inteiramente por uma pessoa pode, sim, receber 100% de IA. A própria documentação do Turnitin diz que o modelo "may not always be accurate" (pode não ser sempre preciso) e que o indicador de escrita por IA "should not be used as the sole basis for action." (não deve ser usado como única base para qualquer decisão). O FAQ também lista características específicas do texto que favorecem falsos positivos: conteúdo com pouca variação estrutural, texto que se repete e texto reescrito sem acrescentar ideias novas. Uma pontuação de 100% não significa que o detector tenha certeza de que você usou IA. Significa que a classificação que o modelo fez dos seus trechos gerou valores de probabilidade que, somados, chegaram a 100%. Se esse resultado está correto, depende de fatores que a própria pontuação não revela.

O FAQ do Turnitin afirma:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Por isso, precisamos enfatizar que a porcentagem do indicador de escrita por IA não deve ser usada como única base para qualquer decisão nem como critério definitivo de nota por parte dos professores.)

Um outro artigo de ajuda diz isso de forma mais direta:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (O nosso modelo de detecção de escrita por IA pode não ser sempre preciso — ele pode classificar mal texto escrito por humanos, gerado por IA e parafraseado por IA —, portanto não deve ser usado como única base para medidas prejudiciais a um estudante.)

A frase seguinte desse artigo: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (É preciso uma análise mais aprofundada e o julgamento humano, em conjunto com a aplicação das políticas acadêmicas específicas da instituição, para determinar se houve má conduta acadêmica.)

O Turnitin também mantém uma página de orientação para educadores que trata a pontuação como um dado entre vários:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (A intenção não é dar respostas definitivas de forma isolada. Mais importante do que qualquer ferramenta é o educador que vê a pontuação e toma decisões equilibrando essa informação com o conhecimento pessoal que tem dos seus alunos, do trabalho deles e das políticas da instituição.)

Lidas em conjunto, essas afirmações dizem três coisas. O modelo pode errar. A pontuação é um dado, não um veredito definitivo. E decidir se houve má conduta exige julgamento humano que vá além da pontuação.

O FAQ do Turnitin lista características específicas do texto que podem gerar falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes os falsos positivos — sinalizar incorretamente texto escrito por humanos como gerado por IA — podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto parafraseado sem desenvolver ideias novas.)

A frase seguinte: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador apontar uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em conta ao analisar a porcentagem indicada.)

Essa frase é importante. O Turnitin está dizendo aos educadores que uma pontuação alta em certos tipos de texto deve ser vista com cautela. Se o seu texto tem frases sempre com a mesma estrutura, se repete expressões ou se limita a parafrasear sem acrescentar análise nova, ele tem características em comum com o tipo de texto que o próprio Turnitin diz ser propenso a falsos positivos. Isso não prova que a sua pontuação esteja errada. Mas dá uma explicação concreta para o fato de um texto humano receber 100%.

O tamanho do documento também conta. O FAQ do Turnitin descreve um comportamento específico para trabalhos curtos:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, com apenas algumas centenas de palavras, a previsão será basicamente 'tudo ou nada', porque a previsão é feita sobre um único segmento, sem chance de sobreposição.)

A frase seguinte: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que um texto que mistura conteúdo gerado por IA e conteúdo original pode ser sinalizado como inteiramente gerado por IA.)

Uma nota de lançamento de dezembro de 2023 acrescenta: "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (Os resultados mostram que a nossa precisão aumenta com um pouco mais de texto, de modo que trabalhos com menos de 300 palavras podem receber uma pontuação de escrita por IA provavelmente menos precisa.)

Se o seu documento é curto, uma pontuação de 100% tem mais cara de artefato de classificação tudo ou nada do que de medição precisa. O detector tem menos segmentos para analisar, menos chance de sobreposição e menos dados para compensar. Algumas centenas de palavras escritas por você que por acaso compartilhem padrões estatísticos com a prosa de IA podem ser sinalizadas como inteiramente feitas por IA. O mecanismo por trás disso, no nível dos segmentos, está explicado em por que o Turnitin diz que o seu trabalho é 100% IA.

O FAQ do Turnitin reconhece uma escolha deliberada na forma de lidar com os falsos positivos:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Para manter essa taxa baixa de 1% de falsos positivos, há a chance de deixarmos passar algum texto escrito por IA em um documento. Estamos confortáveis com isso, porque não queremos apontar incorretamente texto escrito por humanos como escrito por IA. Por exemplo, se identificamos que 50% de um documento provavelmente foi escrito por uma ferramenta de IA, ele pode conter até 65% de escrita por IA.)

A direção é clara: o Turnitin prefere deixar passar texto de IA a acusar injustamente quem escreveu. Mas o erro inverso, sinalizar texto humano como IA, continua acontecendo, a uma taxa que a empresa descreve como abaixo de 1% em documentos com mais de 20% de escrita por IA. Essa taxa não é zero. Em uma turma de 200 alunos entregando trabalhos inteiramente escritos por eles mesmos, um ou dois podem ser sinalizados dentro da própria meta da empresa. O que uma taxa de 1% de falsos positivos significa quando uma universidade envia 75,000 trabalhos leva essa conta a uma escala maior.

Resumindo o que vimos até aqui:

• A própria documentação do Turnitin diz que o modelo "may not always be accurate" (pode não ser sempre preciso) e que a pontuação não deve ser usada "as the sole basis for action." (como única base para qualquer decisão).
• Certos tipos de texto são propensos a falsos positivos: pouca variação estrutural, repetição e paráfrase sem ideias novas.
• Documentos curtos (algumas centenas de palavras) estão sujeitos a previsões do tipo tudo ou nada e podem ser menos precisos.
• A meta oficial de falsos positivos é abaixo de 1% em documentos com mais de 20% de IA, o que não é zero.
• O Turnitin recomenda que os educadores tratem a pontuação como um dado isolado, e não como uma resposta definitiva.

Se você recebeu 100% e escreveu o texto com as próprias mãos, tem motivos para conversar com o seu professor, e sinalizado, mas foi você quem escreveu mostra como se preparar para essa conversa. Os avisos oficiais oferecem palavras concretas que você pode usar. Se você tem um relatório do Turnitin e quer trabalhar as passagens que foram sinalizadas, importe o relatório e resolva cada uma delas. As passagens que cumprem os requisitos podem ser processadas novamente sem custo.