Qual é a precisão de uma pontuação de IA do Turnitin em documentos curtos?

A formulação do próprio Turnitin sobre documentos curtos é direta: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, onde há apenas algumas centenas de palavras, a previsão será basicamente "tudo ou nada", porque estamos prevendo com base em um único segmento, sem oportunidade de sobreposição.)

Essa frase vem das perguntas frequentes do Turnitin sobre detecção de escrita por IA. Ela descreve o que acontece com a previsão quando não há texto suficiente: o modelo não fica em cima do muro, ele se posiciona. Um trabalho curto tende a ser julgado como um todo, em vez de frase por frase.

Isso importa porque a maior parte do que as pessoas presumem sobre pontuações de IA vem de ensaios longos. Em um documento longo, o detector trabalha em vários segmentos e a porcentagem pode refletir uma mistura. Em um documento curto, há menos espaço para esse tipo de nuance.

A razão está no mecanismo. O Turnitin descreve assim: "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (As frases do envio são extraídas e divididas em seções sobrepostas para a análise de previsão. Cada seção é classificada pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser humano ou gerado por IA.)

Em um trabalho longo, essas seções sobrepostas dão ao modelo muitas chances de olhar as mesmas frases de ângulos diferentes. As pontuações das frases são reunidas e depois agregadas na pontuação do documento, o que suaviza o resultado — a mesma agregação descrita em o que a detecção de IA do Turnitin verifica e como a pontuação é construída.

Com apenas algumas centenas de palavras existe, na prática, uma única seção. Sem sobreposição, sem reunir vários pontos de vista. A pontuação do documento herda o julgamento de uma única classificação, e é por isso que a previsão sai mais perto do "tudo" ou do "nada" do que de qualquer coisa no meio.

A consequência aparece na frase seguinte do Turnitin: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que parte do texto que mistura conteúdo gerado por IA e conteúdo original pode ser marcada como totalmente gerada por IA.)

Assim, em um trabalho curto, uma página escrita quase toda por você que contenha uma passagem gerada por IA pode ser pontuada como se tudo fosse de IA. O modelo não tem seções suficientes para separar as duas coisas. Não está dizendo que todas as partes do documento foram geradas por IA; está dizendo que a previsão colapsou em um único julgamento — um dos caminhos pelos quais uma pontuação de IA de 100% no Turnitin ainda pode ter sido escrita por um humano.

É por isso que dois trabalhos curtos com a mesma porcentagem real de texto de IA podem acabar parecendo completamente diferentes. A pontuação não é uma medida precisa de quanto do documento é IA. É uma previsão feita com material limitado.

Existe uma frase que as pessoas costumam citar aqui, e de onde ela vem faz diferença. O Turnitin escreveu, em uma nota de versão datada de 15 de dezembro de 2023: "our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (A nossa precisão aumenta com um pouco mais de texto, portanto envios com menos de 300 palavras podem resultar em uma pontuação de escrita por IA provavelmente menos precisa.) Essa nota tem o título "AI writing detection processing bug fix," (correção de bug no processamento da detecção de escrita por IA), o parágrafo acima da frase diz "This issue has now been resolved," (este problema já foi resolvido), e o bug era que envios com menos de 300 palavras estavam sendo processados. A frase descreve relatórios gerados entre 6 e 15 de dezembro de 2023.

O que torna difícil aplicá-la hoje. Com o bug corrigido, um envio com menos de 300 palavras de prosa não recebe uma pontuação menos precisa. Não recebe pontuação nenhuma. Os requisitos atuais de arquivo dizem que um arquivo "must have at least 300 words of prose text in a long-form writing format," (precisa ter pelo menos 300 palavras de texto em prosa em um formato de escrita longa), então, se você está abaixo desse piso e se preparando para uma porcentagem não confiável, o que você vai ver na verdade é nenhum AI Writing Report. Quanto de um envio conta como texto é outra questão, tratada em o que é texto elegível na detecção de IA do Turnitin.

Se você está diante de um envio muito curto, o número no relatório deve ser tratado como um indicador aproximado, não como uma medição.

A orientação do Turnitin para quem lê uma pontuação de IA é a mesma, seja o documento longo ou curto: "the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (A porcentagem no indicador de escrita por IA não deve ser usada como única base para uma ação ou como medida definitiva de avaliação por parte dos professores.)

Em documentos curtos isso importa ainda mais, porque a pontuação é ao mesmo tempo tudo ou nada e menos precisa. Uma resposta pesada à pontuação de um documento curto trata uma previsão aproximada como se fosse um fato medido. O Turnitin também diz que a pontuação "is not meant to provide definitive answers in isolation," (não tem o objetivo de dar respostas definitivas isoladamente), e que quem a lê deve equilibrar o número com o conhecimento pessoal que tem do aluno e do trabalho dele. As páginas voltadas a educadores vão além e estabelecem o que se orienta um professor a fazer quando a porcentagem de IA está alta.

A leitura prática é simples. Uma pontuação baixa em um trabalho curto merece uma pergunta; uma pontuação alta em um trabalho curto também merece, antes que alguém a trate como um veredito sobre todo o texto.