O Turnitin detecta o Grammarly como escrita por IA?

Ortografia, gramática e pontuação: o Turnitin diz que, nos testes, essas correções «in most cases» (na maior parte dos casos) não foram sinalizadas. As funções gerativas do Grammarly são outra história, e o Turnitin diz isso no mesmo parágrafo: o conteúdo produzido com geração de rascunhos, paráfrase ou resumos «and other features» (e outras funções) será «likely be flagged as AI-generated by our detector» (provavelmente sinalizado como gerado por IA pelo nosso detector). A linha fica entre corrigir uma frase que você escreveu e gerar uma que você não escreveu.

Aqui está a resposta na íntegra, tirada das perguntas frequentes sobre os recursos de detecção de escrita por IA do Turnitin, porque cada frase dela acaba mal citada em algum lugar:

«No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.» (Não. Nosso detector não é ajustado para mirar as modificações de ortografia, gramática e pontuação feitas pelo Grammarly, e sim outros conteúdos de IA escritos por LLMs como o GPT-3.5. Com base em testes que fizemos com documentos escritos por humanos e sem nenhum conteúdo gerado por IA, na maior parte dos casos as alterações feitas pelo Grammarly na versão gratuita e premium e/ou por outras ferramentas de verificação gramatical não foram sinalizadas como escritas por IA pelo nosso detector. Observe que isso exclui o conteúdo gerado pelos recursos de IA generativa do Grammarly, incluindo geração de rascunhos, paráfrase, resumos e outros recursos. O conteúdo produzido com esses recursos provavelmente será sinalizado como gerado por IA pelo nosso detector.)

Três coisas para tirar daí que a versão curta normalmente perde.

«In most cases» (na maior parte dos casos) é uma ressalva de verdade, não um enfeite. O Turnitin está descrevendo os resultados dos próprios testes com documentos sem conteúdo de IA e preferiu não dizer «não sinalizado» sem ressalva.

A lista de exclusões termina com «and other features» (e outras funções), e isso é aberto de propósito. Se uma função escreve texto em vez de corrigi-lo, parta do princípio de que ela fica do lado generativo, qualquer que seja o nome que tenha na interface neste mês.

E «will likely be flagged» (provavelmente será sinalizado) é tão direto quanto um fornecedor de detecção consegue ser. Não é um aviso sobre risco. É uma previsão.

Não por produto, mas por ação. Corrigir uma vírgula na sua frase mantém a sua frase. Pedir a uma ferramenta para reescrever o parágrafo «de forma mais clara» devolve um parágrafo que a ferramenta compôs. As duas coisas vivem dentro da mesma assinatura, e é exatamente por isso que a pergunta não para de aparecer.

O meio-termo desconfortável é a sugestão de reescrita que chega como um único botão com um rótulo amigável. Se você aceitou uma dúzia delas ao longo de uma seção de discussão, a prosa que você entregou foi em parte composta por um modelo, quer tenha vivido aquilo como edição ou não.

A resposta do Turnitin acima é sobre aquilo que o detector foi ajustado para mirar. Não é uma garantia sobre o seu documento, e as mesmas perguntas frequentes nomeiam as propriedades de texto que aparecem nos seus próprios falsos positivos:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (Às vezes os falsos positivos, ou seja, sinalizar por engano como gerado por IA um texto escrito por um humano, podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto parafraseado sem desenvolver novas ideias.)

Leia a frase que vem depois, a que quase ninguém cita: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se o nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em consideração ao olhar a porcentagem indicada.) É o fornecedor dizendo aos professores para avaliarem de outro modo uma pontuação alta num texto com essa forma, e é uma frase que vale a pena ter à mão.

Agora coloque esses dois fatos um ao lado do outro. Uma edição intensiva linha por linha, venha da ferramenta que vier ou de uma pessoa cuidadosa, tende a alisar a variação estrutural de um rascunho. Essa é a nossa leitura e não uma afirmação do Turnitin, mas é o mecanismo que explicaria um trabalho de gramática impecável voltando com um número, e aponta para uma defesa que você realmente pode fazer: leve os rascunhos anteriores, os mais brutos.

Se a sua instituição também ativou um recurso de autoria, não leia o resultado dele como uma segunda opinião sobre IA. As perguntas frequentes do Turnitin descrevem o seu próprio produto Authorship assim: ele «uses metadata as well as forensic language analysis to detect if the submitted assignment was written by someone other than the student» (usa metadados e também análise forense da linguagem para detectar se o trabalho enviado foi escrito por alguém que não o aluno), e «it will not be able to indicate if it was AI written; only that the content is not the student's own work» (não será capaz de indicar se foi escrito por IA; apenas que o conteúdo não é de autoria do próprio aluno).

Procedência e probabilidade de IA são duas afirmações diferentes sobre o seu documento. Qualquer coisa que registre como um arquivo passou a existir está respondendo à pergunta que um detector não consegue responder, e é também por isso que o registro de redação abaixo vale mais do que parece.

Guarde o registro de redação em vez de mudar os seus hábitos por medo. Histórico de versões, arquivos com data, o segundo rascunho bagunçado com o parágrafo que você depois cortou. Essas evidências ficam fora da discussão sobre o que qualquer porcentagem significa, e é por isso que elas se sustentam (como guardá-las no Word, no Google Docs e no Overleaf).

Se você já foi sinalizado, o primeiro passo é ler o relatório, e não reescrever o trabalho (o que fazer quando foi você mesmo quem escreveu).

Devo desligar o Grammarly antes de enviar? A posição declarada do Turnitin é que o detector não é ajustado para mirar modificações de ortografia, gramática e pontuação. Desligar as funções generativas é a parte que corresponde ao que as perguntas frequentes realmente dizem.

Isso vale para outros corretores gramaticais? A citação diz «Grammarly (free & premium) and/or other grammar-checking tools» (o Grammarly na versão gratuita e premium e/ou outras ferramentas de verificação gramatical), então a afirmação testada é mais ampla do que um único produto. A exclusão generativa segue a mesma lógica: uma função que escreve texto não é um corretor gramatical.

Minha universidade diz que usar o Grammarly é permitido. Isso é o mesmo que não ser sinalizado? Não, e vale manter as duas coisas separadas. Uma política é sobre permissão. O resultado de um detector é uma estatística. Você pode estar inteiramente dentro da política e ainda assim ter nas mãos um relatório com um número.

O detector sabe qual ferramenta mexeu no meu arquivo? Ele não informa nenhuma. O Turnitin descreve o modelo como algo que classifica trechos pela probabilidade de um texto ser humano ou gerado por IA (mais sobre o que essa medição é).