Escrita assistida por IA vs. escrita gerada por IA: como o Turnitin trata cada uma

A detecção de IA do Turnitin não acompanha seu processo de escrita. Ela não sabe se você escreveu à mão, ditou ou usou alguma ferramenta em algum momento. Ela avalia o texto que você envia.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Quando um trabalho é enviado ao Turnitin, as frases da submissão são extraídas e segmentadas em seções sobrepostas para a análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA.)

O modelo extrai as frases do documento pronto, divide-as em segmentos e pontua cada um. Ele não tem acesso ao histórico de versões, aos registros de horário de edição nem aos logs de uso de ferramentas, e é exatamente por isso que vale a pena você mesmo guardar esse registro, como mostra como provar que você não usou IA. Ele trabalha com o que está na página no momento do envio.

Isso significa que a diferença entre "escrevi isto com ajuda" e "isto foi gerado para mim" não é algo que o modelo consiga observar diretamente. Ele classifica o texto com base em padrões estatísticos do resultado final.

O escopo do que é analisado também é específico: "This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto elegível inclui apenas frases em prosa, ou seja, analisamos apenas blocos de texto escritos em frases gramaticais padrão e não incluímos outros tipos de escrita, como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.) E: "This percentage is not necessarily the percentage of the entire submission." (Esta porcentagem não é necessariamente a porcentagem de toda a submissão.)

Muitos estudantes usam o Grammarly ou ferramentas parecidas para corrigir ortografia e gramática. A questão é se essas correções fazem o texto ser sinalizado como gerado por IA. A documentação do Turnitin responde a isso diretamente.

"Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector." (Nosso detector não é ajustado para mirar nas modificações de ortografia, gramática e pontuação geradas pelo Grammarly, e sim em outros conteúdos de IA escritos por LLMs como o GPT-3.5. Com base em testes que fizemos com documentos escritos por humanos sem nenhum conteúdo gerado por IA, na maioria dos casos as alterações feitas pelo Grammarly (gratuito e premium) e/ou por outras ferramentas de verificação gramatical não foram sinalizadas como escritas por IA pelo nosso detector.)

A frase-chave é "in most cases." (na maioria dos casos). O detector não é ajustado para pegar correções de ortografia e gramática. Na maioria dos casos, um texto que uma pessoa escreveu e depois revisou com o Grammarly não é sinalizado. Isso vale tanto para a versão gratuita quanto para a premium do Grammarly, e também para outras ferramentas de verificação gramatical. O Turnitin detecta o Grammarly como escrita por IA? analisa a redação do fornecedor linha por linha.

Isso não quer dizer que um texto com correções gramaticais seja invisível para o detector. Quer dizer que o detector não foi feito para identificar esse tipo específico de alteração. A prosa final continua sendo analisada em busca de padrões estatísticos típicos de IA. Mas o ato de passar o Grammarly para ortografia e gramática não causa, na maioria dos casos, uma sinalização por si só.

A documentação traça uma linha clara entre os recursos de correção do Grammarly e seus recursos generativos. A exclusão não se estende ao conteúdo produzido por ferramentas de IA generativa.

"Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector." (Observe que isso exclui o conteúdo gerado pelos recursos de IA generativa do Grammarly, incluindo geração de rascunhos, paráfrase, resumo e outros recursos. O conteúdo produzido com esses recursos provavelmente será sinalizado como gerado por IA pelo nosso detector.)

Então há duas categorias. De um lado: correções de ortografia, gramática e pontuação. Elas não são visadas pelo detector e, na maioria dos casos, não são sinalizadas. Do outro: geração de rascunhos, paráfrase, resumo e outros recursos generativos. O conteúdo produzido com esses recursos provavelmente será sinalizado como gerado por IA.

A distinção importa. Se você usou o Grammarly para corrigir erros de digitação e apertar a gramática, o detector não foi ajustado para pegar isso. Se você usou o Grammarly para gerar um rascunho, parafrasear uma passagem ou resumir uma fonte, esse resultado é tratado como qualquer outro conteúdo gerado por IA e provavelmente será sinalizado.

Essa linha se baseia no que os recursos produzem, não na marca. Um recurso generativo de qualquer ferramenta, não só do Grammarly, fica do lado do "will likely be flagged" (provavelmente será sinalizado). Uma correção de ortografia ou gramática de qualquer ferramenta fica do lado do "not tuned to target" (não foi ajustado para mirar nisso). De que lado você fica também decide o que você precisa declarar, como mostra passar seu documento por uma ferramenta de reescrita muda o que você precisa declarar?.

Mesmo quando nenhuma IA esteve envolvida, certos tipos de prosa escrita por humanos podem gerar falsos positivos. A documentação lista padrões específicos a observar.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes os falsos positivos (sinalizar por engano um texto escrito por humano como gerado por IA) podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver ideias novas.)

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em conta ao observar a porcentagem indicada.)

Portanto, se o seu texto for estruturalmente plano, repetir as mesmas formulações ou parafrasear sem acrescentar ideias novas, o modelo pode sinalizá-lo mesmo que tenha sido escrito inteiramente por um humano. Isso é relevante para a distinção entre assistida e gerada, porque um estudante que escreve o próprio texto mas parafraseia muito pode ver uma sinalização que não tem nada a ver com o uso de uma ferramenta. Parafraseei um texto de IA com outra IA e o Turnitin sinalizou mesmo assim é a outra ponta do mesmo efeito.

A documentação do Turnitin diz explicitamente que a pontuação de detecção de IA não deve ser tratada como prova definitiva de má conduta.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Nosso modelo de detecção de escrita por IA pode não ser sempre preciso (ele pode identificar mal texto escrito por humanos, gerado por IA e parafraseado por IA), portanto não deve ser usado como única base para medidas adversas contra um estudante.)

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (É preciso uma análise mais cuidadosa e julgamento humano, em conjunto com a aplicação pela instituição de suas políticas acadêmicas específicas, para determinar se houve má conduta acadêmica.)

A pontuação é uma informação entre outras. Ela exige análise mais cuidadosa e julgamento humano, aplicados no contexto das políticas acadêmicas específicas da instituição. O modelo pode classificar mal o texto nos dois sentidos: sinalizar texto humano como IA ou não perceber texto de IA nenhum. Tratar a porcentagem como base única ignoraria a própria orientação da documentação. Se é você quem está com o relatório sinalizado na mão, sinalizado, mas foi você quem escreveu mostra como levar isso a um avaliador.

Se você está tentando entender como o Turnitin trata a escrita assistida por IA em relação à escrita gerada por IA, aqui está o resumo:

• O modelo vê o texto pronto. Ele não acompanha seu processo de escrita. Segmenta e pontua as frases em prosa do documento enviado.
• Correções de ortografia e gramática são diferentes. O detector não é ajustado para mirar em correções de ortografia, gramática e pontuação no estilo do Grammarly. Na maioria dos casos, elas não são sinalizadas.
• Recursos generativos provavelmente serão sinalizados. O conteúdo da geração de rascunhos, paráfrase, resumo e outros recursos generativos do Grammarly é tratado como gerado por IA e provavelmente será sinalizado.
• Falsos positivos acontecem. Prosa estruturalmente plana, repetitiva ou parafraseada tem mais chance de ser sinalizada, mesmo sem IA envolvida.
• A pontuação não é base única. A documentação diz que ela não deve ser usada como única base para medidas adversas contra um estudante. Valem o julgamento humano e a política da instituição.

As passagens que atendem aos requisitos podem ser processadas novamente sem custo.