O Turnitin detecta textos da Mistral AI? O que diz a documentação

O Turnitin mantém uma lista publicada dos modelos cujos resultados o modelo de detecção de escrita por IA consegue identificar. A lista inclui GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok, o1-mini e também ferramentas baseadas nesses LLMs. O LLaMA aparece ao lado da Mistral pelo mesmo motivo: ambos têm pesos abertos, e o Turnitin detecta LLaMA faz a mesma leitura. A formulação é direta: o modelo de detecção de escrita por IA do Turnitin para envios em inglês pode detectar conteúdo desses modelos.

A documentação observa ainda: "We will continue to expand our detection capabilities to other models in the future." (continuaremos a expandir as nossas capacidades de detecção a outros modelos no futuro). Portanto, a lista não está congelada: ela cresce à medida que novos modelos são lançados e o sistema de detecção é atualizado para reconhecer os resultados deles.

No caso específico da Mistral, a resposta para "o Turnitin detecta?" é sim: ela está na lista. Mas o que "detectar" significa na prática envolve um processo cheio de nuances.

Entender o que acontece quando você envia um documento ajuda a explicar por que os resultados saem desse jeito. Este é o mecanismo que o Turnitin descreve:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e segmentadas em seções sobrepostas para a análise de predição. Cada seção é classificada pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase elegível dentro dessas seções herda a pontuação da seção. Como as seções se sobrepõem, algumas frases podem ter várias pontuações, que depois são reunidas em uma única pontuação. Essas pontuações por frase são agregadas e usadas para calcular a pontuação geral de escrita por IA do documento.)

O sistema não procura um único traço revelador. Ele segmenta o seu texto, atribui a cada segmento uma pontuação de probabilidade de IA, reúne as pontuações das frases sobrepostas e agrega tudo em uma única porcentagem no nível do documento.

A documentação também é explícita quanto ao que o modelo não faz. Ele não se apoia em métricas nomeadas como burstiness ou perplexity, uma negativa que destrinchamos em o Turnitin usa perplexity e burstiness para detectar IA: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (o nosso modelo não é programado explicitamente para avaliar sinais específicos como 'burstiness,' 'perplexity,' ou outras métricas individuais que às vezes aparecem em discussões públicas). Em vez disso, o modelo aprende padrões estatísticos a partir dos dados de treinamento. Os classificadores são treinados para detectar diferenças na probabilidade das palavras e lidam bem com as sequências de probabilidade de palavras típicas de quem escreve como humano.

Isso significa que a detecção é probabilística, não determinística. A pontuação reflete a confiança do modelo em que o texto se pareça com padrões gerados por IA, e não um julgamento binário rígido.

Estar na lista de modelos detectáveis não significa que todas as frases geradas por IA sejam pegadas. O Turnitin prioriza manter os falsos positivos baixos, e essa troca tem um custo do outro lado.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Para manter essa baixa taxa de 1% de falsos positivos, é possível que a gente deixe passar algum texto escrito por IA em um documento. Estamos tranquilos com isso, porque não queremos marcar por engano como escrito por IA um texto escrito por um humano. Por exemplo, se identificamos que 50% de um documento provavelmente foi escrito por uma ferramenta de IA, ele pode conter até 65% de escrita por IA.)

Assim, um documento enviado com texto gerado pela Mistral pode receber uma pontuação menor do que a porcentagem real de conteúdo de IA. O detector pode apontar 50% como escrito por IA quando o valor real está mais perto de 65%. Isso é proposital: o sistema tende a não marcar texto humano, o que significa que parte do texto de IA vai passar sem ser marcada.

Essa diferença importa se você está tentando entender por que um documento com conteúdo de IA conhecido recebeu uma pontuação menor do que o esperado. A aritmética por trás dessa meta de 1% é detalhada em o que significa uma taxa de falsos positivos de 1%.

O modelo que detecta os textos da Mistral hoje não é necessariamente o mesmo que estará funcionando no mês que vem. A documentação do Turnitin reconhece isso:

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (À medida que continuamos a iterar e a desenvolver o nosso modelo para detectar melhor os LLMs mais novos, é provável que as nossas capacidades de detecção também mudem, afetando a porcentagem de IA. No entanto, para um documento já enviado, a porcentagem de IA só mudará se ele for enviado novamente para processamento.)

Daqui saem duas conclusões práticas. Primeira: o mesmo documento pode receber pontuações diferentes se for reenviado depois de uma atualização do modelo, e é por isso que comparar dois relatórios é melhor do que comparar duas pontuações. Segunda: depois que um documento é processado, a pontuação informada fica fixa, a menos que ele volte a passar pelo sistema. Se você comparar pontuações ao longo do tempo, as diferenças podem refletir atualizações do modelo em vez de mudanças no próprio documento.

A Mistral é uma família de modelos, não um produto único e fixo. Ferramentas construídas sobre os modelos da Mistral, ou versões ajustadas da Mistral, também são alcançadas pela formulação do Turnitin "tools based on these LLMs" (ferramentas baseadas nesses LLMs). O modelo de detecção não identifica a Mistral pelo nome no relatório. Ele produz uma única pontuação de escrita por IA no nível do documento, com base em padrões estatísticos, sem detalhamento por modelo específico.

Isso significa que um relatório não dirá "30% Mistral, 10% GPT". Ele dirá algo como "40% gerado por IA", ou seja, uma pontuação agregada. A lista de modelos informa quais famílias de modelos o detector foi treinado para reconhecer, e não qual modelo específico produziu qual parágrafo. O que o relatório de fato traz na página é explicado em como ler um AI Writing Report do Turnitin.

Se você trabalha com texto gerado pela Mistral e precisa entender como o Turnitin vai tratá-lo, aqui está o resumo:

• Sim, a Mistral é detectável. Ela aparece na lista de modelos publicada, e as ferramentas baseadas na Mistral também são cobertas.
• A detecção é probabilística. O sistema segmenta o texto, atribui a cada segmento uma pontuação de probabilidade de IA e agrega as pontuações em uma única porcentagem. Ele não usa burstiness nem perplexity.
• Parte do texto de IA vai passar despercebida. Para manter os falsos positivos abaixo de 1% em documentos com mais de 20% de escrita por IA, o detector pode contar menos do que o conteúdo real de IA.
• As pontuações podem mudar. Se o modelo for atualizado e o documento for reenviado, a pontuação pode se deslocar. Uma pontuação de um envio anterior fica fixa até que o documento seja processado novamente.
• Sem detalhamento por modelo. O relatório mostra uma porcentagem de IA agregada, não uma atribuição por modelo.

Passagens elegíveis podem ser reprocessadas sem custo.