O que o asterisco (\*%) significa em um score de IA do Turnitin?

O asterisco significa que o detector do Turnitin encontrou IA na faixa de 1% a 19% e não está mostrando a você o número nem os destaques. A razão, nas próprias palavras do Turnitin, é que scores nessa faixa carregam maior risco de falsos positivos. Portanto, o relatório não está dizendo "nada detectado" e não está dizendo "zero". Está dizendo: algo foi encontrado, e não vamos mostrar a você. Isso tem uma consequência concreta para quem quer ler ou revisar com base em um resultado nessa faixa, porque as duas coisas que você precisaria para agir sobre um score estão ambas ausentes. O número está ausente, e as passagens destacadas estão ausentes.

Aqui está a resposta completa das perguntas frequentes sobre as capacidades de detecção de escrita com IA do Turnitin:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Para evitar incidência potencial de falsos positivos, nenhum score ou destaque é atribuído a scores de detecção de IA na faixa de 1% a 19%. Quando a IA é detectada abaixo do limiar de 20% no relatório, agora é indicada com um asterisco (*%) e nenhuma porcentagem é atribuída.)

Três coisas estão embaladas nessa frase, e a segunda costuma ser pulada.

Primeiro, o asterisco não é um marcador de zero. Ele cobre tudo de 1% a 19%. Um relatório que mostra um asterisco tem atrás um resultado diferente de zero, e o relatório decidiu não revelar qual número diferente de zero é.

Segundo, a razão são falsos positivos. A regra existe porque o Turnitin acredita que scores nessa faixa têm mais chance de estar errados, em que "errados" significa sinalizar texto escrito por uma pessoa como IA. A frase dois parágrafos antes desta nas perguntas frequentes usa a expressão "incorrectly flagging human-written text as AI-generated" (sinalizar incorretamente texto escrito por uma pessoa como gerado por IA) para descrever o que é um falso positivo, e a regra do asterisco é a resposta direta a esse risco.

Terceiro, o limiar é 20%. Vinte é onde o relatório volta a se comportar como uma medição. Abaixo de vinte ele se comporta como um interruptor com uma posição para zero e uma para todo o resto. O asterisco é um dos quatro estados de indicador que o relatório pode mostrar; é o único que diz que algo foi encontrado sem revelar o quê.

O asterisco remove dois tipos de informação, e o segundo recebe menos atenção do que merece.

O número vai embora. Isso todo mundo nota. A porcentagem que teria ficado entre 1% e 19% é substituída por um símbolo, e não há como ler a cifra real no relatório.

Os destaques também vão. Com um score de 20% ou mais, o relatório marca passagens que acredita escritas por IA e você pode ir vê-las. Com um asterisco, não há nada para ver. Nenhuma passagem está marcada. Nenhuma localização ao nível da frase é dada. O relatório tem um resultado que não mostra a você e também não mostra de onde esse resultado veio.

Leve isso até uma revisão. Suponha que uma versão anterior do documento tenha vindo em 17% e a atual em 3%. Ambos os relatórios mostram um asterisco. Mesmo símbolo, mesma ausência de destaques, mesmo tudo na tela. O trabalho aconteceu. A interface não tem vocabulário para reportá-lo. Quem lhe diz que um relatório atual se moveu "de 15% para 4%" está fornecendo duas cifras que o relatório não revelou. Isso não é uma leitura do relatório; é uma afirmação sobre o que está por trás.

É também por isso que comparar dois asteriscos não é uma comparação. Dois relatórios com o mesmo símbolo podem ter resultados subjacentes diferentes, e nenhum deles lhe diz se é o caso. Se você precisa comparar duas versões de um documento, os relatórios que podem ser comparados são os de 20% ou mais, onde tanto o número quanto os destaques são visíveis. Vimos como é uma comparação legível em como ler um relatório de escrita com IA do Turnitin.

A regra do asterisco é sobre exibição. Há uma característica separada do modelo que torna a faixa por trás do asterisco menos previsível do que teria sido o número que ela substitui, e ela se situa na mesma fronteira.

Das perguntas frequentes, sobre documentos curtos:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos em que há apenas algumas centenas de palavras, a previsão será em sua maior parte "tudo ou nada" porque prevemos em um único segmento sem a oportunidade de sobreposição.)

A frase seguinte:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e original poderia ser sinalizado como inteiramente gerado por IA.)

Um documento curto com conteúdo misto pode obter um resultado que parece uma coisa quando a situação subjacente é outra. Se o score reportado em tal documento tivesse sido, digamos, 14%, o quadro real poderia ser mais complicado do que o 14% sugeria. O asterisco esconde esse 14% e, ao fazê-lo, também esconde o fato de que o próprio 14% era uma previsão de tudo-ou-nada sobre um único segmento.

Nada disso é uma declaração sobre falta. É uma declaração sobre o que a ferramenta pode e não pode dizer a você na faixa que se recusa a mostrar. A consequência para o leitor é que um asterisco em um documento curto é o estado menos informativo em que o relatório pode estar enquanto ainda diz que algo aconteceu. E a única coisa que o relatório diz, ele diz sem contexto.

Outra coisa que o asterisco esconde é o tamanho do denominador por trás, e esse denominador é mais estreito que o arquivo.

O Turnitin diz analisar apenas texto elegível, que as perguntas frequentes definem como:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Esse texto elegível inclui apenas frases em prosa, o que significa que analisamos apenas blocos de texto escritos em frases gramaticais padrão e não incluímos outros tipos de escrita como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)

A frase seguinte:

"This percentage is not necessarily the percentage of the entire submission." (Essa porcentagem não é necessariamente a porcentagem de toda a submissão.)

Um documento composto em sua maioria por listas, tabelas e uma bibliografia deixou o modelo com pouca prosa para pontuar. O asterisco em tal arquivo se assenta sobre um denominador que já era menor do que o documento parece. Se a cifra oculta fosse 8%, esse 8% era 8% de prosa elegível, e a prosa elegível poderia ser metade do arquivo.

Isso importa por duas razões. A porcentagem que o relatório não mostra a você não é a que você adivinharia lendo o documento. E os destaques que o relatório não lhe dá teriam sido a única forma de descobrir o que contava. Sem os destaques, o denominador sobre o qual o asterisco foi calculado também é invisível. Você tem um símbolo que representa um número que representa uma fração de algo que você não consegue medir de fora.

A regra do asterisco é uma decisão de exibição, mas ela se assenta sobre uma escolha de projeto mais profunda que vai na mesma direção. Eis o Turnitin sobre essa escolha:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (A fim de manter essa baixa taxa de 1% de falsos positivos, há a chance de que percamos algum texto escrito por IA em um documento. Estamos confortáveis com isso, pois não queremos destacar incorretamente texto escrito por uma pessoa como escrito por IA. Por exemplo, se identificarmos que 50% de um documento provavelmente é escrito por uma ferramenta de IA, ele poderia conter até 65% de escrita por IA.)

Leia isso ao lado da regra do asterisco. O modelo pende para pegar menos em vez de sinalizar demais. A regra de exibição toma a faixa em que os dois erros são mais difíceis de separar e se recusa a pr um número nela. É a mesma direção. Uma ferramenta que preferiria perder texto de IA em vez de sinalizar texto humano também é uma ferramenta que preferiria mostrar um asterisco em vez de um 7% que não pode sustentar.

A taxa de falsos positivos que o Turnitin publica é específica quanto ao escopo. Das mesmas perguntas frequentes:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Esforçamo-nos para maximizar a eficácia do nosso detector mantendo nossa taxa de falsos positivos — identificar incorretamente texto inteiramente escrito por uma pessoa como gerado por IA — abaixo de 1% para documentos com mais de 20% de escrita por IA.)

A frase seguinte:

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Em outras palavras, poderíamos sinalizar um documento escrito por uma pessoa como escrito por IA para um a cada 100 documentos inteiramente escritos por pessoas.)

A oração no final da primeira frase é a que se conecta ao asterisco. A meta de menos de 1% é declarada para documentos com mais de 20% de escrita por IA. Abaixo desse limiar a meta não é dada como número, e a regra de exibição é o que responde a isso: o relatório simplesmente não revela scores que não pode sustentar. A fronteira de 20% na regra do asterisco e a fronteira de 20% na meta de falsos positivos são a mesma linha.

Um asterisco é um resultado que não está em branco nem é um número e não lhe deixa uma passagem para inspecionar. Isso restringe o que se pode fazer diretamente com ele, mas não deixa em nada.

• Não o trate como zero. O relatório encontrou algo. Ele retém a cifra, não a nega. Se lhe perguntam sobre um asterisco, a questão é o que foi encontrado, não se algo foi encontrado.
• Peça a data de geração. Os relatórios são produzidos segundo as regras em vigor quando são gerados, e uma captura de um asterisco sem data não lhe diz nada sobre qual regra o produziu. O mesmo vale para outros estados do relatório: o arquivo é um instantâneo, não uma leitura ao vivo.
• Pergunte o que mais há no relatório. O Turnitin diz que o indicador e o relatório de detecção de escrita com IA não são visíveis aos estudantes, e um instrutor precisa baixar e compartilhar o PDF. O asterisco é um item de um documento que também contém o score Similarity, informações de arquivo e notas de processamento. Ler o restante pode esclarecer se o que você vê está atual e de qual relatório se trata.
• Não tente comparar dois asteriscos. Os relatórios que podem ser comparados são os de 20% ou mais, onde tanto o número quanto os destaques são visíveis. Dois asteriscos podem representar cifras subjacentes diferentes e nenhum dos relatórios lhe dirá se é o caso.

Se um relatório volta em 20% ou mais, essa é a faixa em que o relatório lhe dá algo com o que agir: uma cifra e passagens destacadas. Uma reescrita guiada pelo relatório importa essas passagens como seu escopo, e apenas essas passagens são tocadas. Se um relatório posterior ainda sinaliza passagens, essas podem ser reprocessadas sem custo. Abaixo de 20% não há destaques para importar, então a questão não se coloca.

Nada disso é uma previsão. O Turnitin nunca disse como uma edição deveria mover um score, e a regra do asterisco significa que abaixo de 20% ninguém poderia verificar tal afirmação. O que uma reescrita guiada pelo relatório decide é quais palavras são tocadas e quais ficam exatamente como foram escritas.

O asterisco significa que meu score é zero? Não. O asterisco cobre a faixa de 1% a 19%. O Turnitin diz "no score or highlights are attributed for AI detection scores in the 1% to 19% range" (nenhum score ou destaque é atribuído a scores de detecção de IA na faixa de 1% a 19%) e que scores nessa faixa "are now indicated with an asterisk (*%) and no percentage is attributed" (agora são indicados com um asterisco (*%) e nenhuma porcentagem é atribuída). Zero é um estado à parte com seu próprio indicador. O asterisco significa que algo foi encontrado e o número está sendo retido.

Por que o Turnitin mostra um asterisco em vez de um número? Para evitar falsos positivos. As perguntas frequentes do Turnitin dizem "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (Para evitar incidência potencial de falsos positivos, nenhum score ou destaque é atribuído a scores de detecção de IA na faixa de 1% a 19%.) Scores nessa faixa carregam maior risco de falso positivo, então o relatório se recusa a revelá-los.

Posso descobrir o número real por trás do asterisco? Não pelo relatório. O número e os destaques são ambos retidos nessa faixa. Não há como ler a cifra subjacente em um relatório atual que mostra um asterisco.

Posso comparar dois relatórios que ambos mostram um asterisco? Não de forma significativa. Dois asteriscos podem ter scores subjacentes diferentes e nenhum dos relatórios lhe diz se é o caso. Os relatórios que podem ser comparados são os de 20% ou mais, onde o número e os destaques são ambos visíveis.

O asterisco significa que o relatório está quebrado? Não. É uma regra de exibição, não um erro. Um traço duplo cinza separado significa que o arquivo não pôde ser processado, e um ponto de exclamação significa que o processamento falhou. O asterisco significa que o processamento teve sucesso e algo foi encontrado, e o resultado está sendo retido.

20% é a fronteira onde o asterisco para? Sim. Com 20% ou mais o relatório mostra um número e passagens destacadas. Abaixo de 20%, o único número exato que o relatório revela é 0%. Tudo entre 1% e 19% é o asterisco. Cobrimos o que 20% significa como fronteira em 20% de IA é muito alto?.