As universidades usam detectores de IA? Depende do que compraram

Nem todas as universidades têm detecção de IA, e o motivo não é que algumas tenham uma política contra isso. O motivo é que a detecção de escrita com IA do Turnitin só está disponível para clientes que licenciam o Turnitin Originality. Uma instituição que use o Turnitin Feedback Studio (TFS), o Similarity ou o antigo Originality Check não tem detecção de IA, a menos que alguém tenha negociado o acesso. Assim, a pergunta «a minha universidade verifica se usei IA» se desdobra em três perguntas menores: a instituição comprou a licença que inclui a função, o professor a ativou e para que esse número realmente vale quando aparece?

Vamos percorrer essas três na ordem, porque a resposta que as pessoas costumam querer é um sim ou um não, e a resposta real é uma cadeia de dependências. Cada elo dessa cadeia está documentado nas próprias páginas da Turnitin, e em nenhum deles é preciso adivinhar.

A única frase que responde à maior parte disso está escondida na seção «Access & licensing» das perguntas frequentes sobre os recursos de detecção da Turnitin:

«AI writing detection is only available to customers that license Turnitin Originality.» (A detecção de escrita com IA só está disponível para clientes que licenciam o Turnitin Originality.)

Nós limpamos a gramática. A própria página diz «is only be available», um erro de digitação que não vamos levar para este artigo. O que a frase diz é simples: a detecção de IA é um recurso de um nível específico de produto. Não é um botão que exista em toda instalação do Turnitin.

A frase logo depois fecha a lacuna:

«If you are a Turnitin Similarity, Turnitin Feedback Studio (TFS) or Originality Check customer, please speak to your Turnitin account manager regarding access to AI writing detection.» (Se você é cliente do Turnitin Similarity, do Turnitin Feedback Studio (TFS) ou do Originality Check, fale com o seu gerente de conta da Turnitin sobre o acesso à detecção de escrita com IA.)

Lidas juntas, as duas fecham o quadro. Uma universidade que comprou o TFS para notas e rubricas, ou o Similarity para checar plágio, não tem um detector de IA esperando no menu para ser ligado. O recurso simplesmente não está lá. Conseguir isso significa voltar ao gerente de conta e mudar aquilo pelo qual a instituição paga: é uma decisão de compra, não uma configuração.

É por isso que dois estudantes de duas instituições diferentes podem submeter o trabalho ao Turnitin e ver relatórios completamente diferentes. Um vê um indicador de IA na caixa de entrada da atividade. O outro vê pontuações de similaridade e nada mais, porque a licença da segunda instituição não inclui a ferramenta que produz o indicador. Se você quer entender o relatório que tem nas mãos, como ler um relatório de escrita com IA do Turnitin percorre os indicadores e explica o que cada um significa.

Na pesquisa de pós-graduação e nas submissões a periódicos, a ferramenta em jogo costuma ser o iThenticate, e não o Turnitin Feedback Studio. A mesma história de licenciamento se aplica, com um passo a mais.

A página de produto do iThenticate da Turnitin diz: «iThenticate customers can access AI writing detection as a paid add-on.» (Os clientes do iThenticate podem acessar a detecção de escrita com IA como um complemento pago.) Ela aparece em Complementos, não entre os recursos principais. A licença padrão do iThenticate verifica texto duplicado. A detecção de IA é uma linha adicional.

O que isso significa na prática é que mesmo uma instituição que paga pelo iThenticate não está necessariamente pagando pela detecção de IA. Um pesquisador que envia um manuscrito para um periódico que usa iThenticate pode imaginar que do outro lado está sendo gerada uma pontuação de IA. Pode não estar. A existência dessa pontuação depende de a licença do periódico incluir o complemento, e isso é algo que quem submete não consegue ver do seu lado.

A mesma página do iThenticate também deixa claro que a verificação principal procura texto duplicado, não conteúdo de IA. Não vamos citar os acordos de licença de editoras específicas, porque eles mudam e não podemos confirmá-los de fora. Mas o ponto estrutural se mantém: a detecção de IA no lado do iThenticate é opcional e custa mais caro, então supor que ela vem por padrão é supor uma compra sobre a qual ninguém lhe contou nada.

Agora suponha que a licença existe. A instituição comprou o Originality. O professor ativou a detecção de IA na atividade. O trabalho entra, o modelo roda e em algum lugar aparece uma porcentagem.

Esse «em algum lugar» não é a tela do estudante.

«The AI writing detection indicator and report are not visible to students.» (O indicador de detecção de escrita com IA e o relatório não ficam visíveis para os estudantes.)

Esta é uma das duas frases na mesma página de perguntas frequentes que dizem a mesma coisa. A outra diz: «only instructors and administrators are able to see the indicator.» (apenas professores e administradores conseguem ver o indicador). O que fecha o círculo é a frase que vem logo depois da primeira:

«However, with the PDF download feature, instructors can download and share the AI report with students.» (No entanto, com o recurso de download em PDF, os professores podem baixar o relatório de IA e compartilhá-lo com os estudantes.)

Ou seja, o caminho entre a pontuação e você passa por uma pessoa. O seu professor vê o número. Você só o vê se ele decidir baixar o PDF e entregá-lo a você. Muitos fazem isso, e é por isso que vários estudantes já viram o próprio relatório. Mas isso é um ato de compartilhamento, não um recurso da sua conta. Você não pode entrar e consultá-lo como consulta uma pontuação de similaridade, e a ausência de um número na sua caixa de entrada não significa que esse número não exista.

Isso importa para a pergunta «a minha universidade verifica» de um modo específico. Um estudante pode passar um semestre inteiro sendo verificado sem nunca saber, porque o indicador está numa tela à qual ele não tem acesso. Se você está tentando descobrir se a detecção de IA está rodando sobre os seus trabalhos, perguntar aos colegas não vai dar uma resposta confiável. Quem sabe é o professor, ou o administrador que configurou a atividade. E se a conversa sobre uma sinalização já começou, a conversa depois de uma sinalização de IA trata do que essa troca pode e não pode resolver.

Até aqui estabelecemos que a ferramenta pode não estar lá e que, mesmo que esteja, você pode não ver o que ela diz. O terceiro elo da cadeia é sobre o que o número significa quando alguém o vê.

A documentação de ajuda da Turnitin diz isso em três lugares. A versão no guia do AI Writing Report diz:

«Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.» (O nosso modelo de detecção de escrita com IA pode não ser sempre preciso — ele pode classificar mal texto escrito por humanos, gerado por IA e parafraseado por IA —, portanto não deve ser usado como a única base para medidas desfavoráveis a um estudante.)

A frase seguinte é a que costuma ser deixada de lado:

«It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.» (É preciso uma análise mais cuidadosa e julgamento humano, em conjunto com a aplicação das políticas acadêmicas específicas da organização, para determinar se houve má conduta acadêmica.)

Essa é a declaração completa. O modelo pode errar. Ele não deve ser a única base para uma ação. E determinar se houve má conduta exige uma análise adicional mais as políticas da própria instituição. As perguntas frequentes dizem o mesmo com outras palavras: a porcentagem «should not be used as the sole basis for action or a definitive grading measure.» (não deve ser usada como única base para uma ação nem como medida definitiva de nota.)

Existe uma página de guia separada, «How should I review the AI Writing report?» (Como devo analisar o relatório de escrita com IA?), que coloca o mesmo ponto em termos positivos:

«It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.» (Não é sua função dar respostas definitivas de forma isolada. Mais importante do que qualquer ferramenta é o educador que vê a pontuação e toma decisões equilibrando essa informação com o seu conhecimento pessoal dos alunos, do trabalho deles e da política da instituição.)

E a frase depois dessa: «When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.» (Quando os educadores olham a pontuação de escrita com IA e a usam como um dado único em vez de uma resposta definitiva, então ela está sendo usada como pretendido.)

Um dado único. É assim que a própria empresa descreve o que a sua ferramenta produz. Não um veredito, não uma sentença, não uma porcentagem que dispare mecanicamente uma consequência. Um dado que é colocado na balança junto com outras coisas que uma pessoa sabe.

Isso é reforçado pela taxa de falsos positivos que a empresa publica. As perguntas frequentes afirmam: «We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.» (Nós nos esforçamos para maximizar a eficácia do nosso detector mantendo a nossa taxa de falsos positivos — identificar incorretamente texto inteiramente escrito por humanos como gerado por IA — abaixo de 1% em documentos com mais de 20% de escrita com IA.) A frase seguinte traduz isso: «we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.» (podemos sinalizar como escrito por IA um documento escrito por humano a cada 100 documentos inteiramente escritos por humanos.) Um em cem é pouco. Não é zero.

A empresa também diz que aceita que manter baixa a taxa de falsos positivos tem um custo: «In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.» (Para manter essa taxa baixa de 1% de falsos positivos, há a chance de deixarmos passar algum texto escrito com IA em um documento.) A ferramenta tende a não chamar texto humano de IA, mesmo ao custo de perder parte do texto feito com IA. Essa escolha de projeto é boa para os estudantes que não usaram IA. Também significa que uma pontuação baixa não é um atestado de pureza. O que uma pontuação de 20% ou 30% significa na prática, e por que o limite está onde está, está explicado em 20 por cento de IA é alto demais?, e como uma taxa de falsos positivos de 1% realmente se parece em volume é detalhado em o que significa uma taxa de falsos positivos de um por cento.

Portanto a terceira resposta é: mesmo onde a detecção de IA existe e o número é visível, a empresa que fabrica a ferramenta diz que ele não deve ser usado sozinho. Se a sua universidade a utiliza, o número é uma contribuição para uma conversa, não a conversa inteira. E se você está do lado errado de uma sinalização, sinalizado, mas foi você quem escreveu mostra o que levar para essa conversa.

Somadas, a cadeia fica assim.

1. A instituição licenciou o Turnitin Originality ou está usando TFS / Similarity / Originality Check? Isso determina se a detecção de IA existe na atividade. Se a licença não a inclui, não há botão para ligar, não há configuração para ativar e não há indicador de IA que possa aparecer no seu trabalho.
2. O professor está usando nesta atividade? Mesmo com a licença certa, a detecção de IA é configurada por atividade. Um professor pode optar por deixá-la desligada. Se ela rodou em um trabalho específico é algo que só o professor ou o administrador sabe.
3. Se rodou, para que o número vale? A Turnitin diz que a pontuação não é uma medida definitiva, não deve ser a única base para uma ação e deve ser usada como um dado único. O que decorre de uma determinada porcentagem é decidido pela política de integridade acadêmica da instituição, não pela ferramenta.

Essas três perguntas correspondem a uma licença, uma configuração e uma política. Nenhuma delas é respondida por «as universidades usam detectores de IA» ou «as universidades não usam». A ferramenta não é uma camada uniforme sobre o ensino superior. É um recurso de produto que algumas instituições pagaram, alguns professores ativaram e algumas políticas tratam como mais conclusivo do que o fabricante pretende.

Toda universidade que usa o Turnitin tem detecção de IA? Não. A detecção de escrita com IA só está disponível para clientes que licenciam o Turnitin Originality. Instituições que usam o Turnitin Feedback Studio, o Similarity ou o antigo Originality Check não têm detecção de IA, a menos que tenham combinado o acesso separadamente. É uma questão de licença, não um recurso que acompanha todos os produtos da Turnitin.

Posso verificar se a minha universidade tem detecção de IA? Não pela sua conta de estudante. O indicador de IA só é visível para professores e administradores. Você pode perguntar ao seu professor ou ao setor de tecnologia educacional da sua instituição se a detecção de IA está ativada nas suas atividades, e eles saberão.

Se o meu professor me mostrou um relatório de IA, isso significa que a minha universidade tem a ferramenta? Sim. O relatório que você viu foi produzido pela função de detecção de IA, o que significa que a licença a inclui. Os professores podem baixar o relatório de IA em PDF e compartilhá-lo com os estudantes, e é assim que a maioria vê as próprias pontuações.

Uma pontuação de IA significa que estou encrencado? Não por si só. A Turnitin diz que a pontuação «should not be used as the sole basis for adverse actions against a student» (não deve ser usada como única base para medidas desfavoráveis a um estudante) e a descreve como «a single data point.» (um dado único). O que acontece depois de uma sinalização depende da política de integridade acadêmica da sua instituição e do julgamento do seu professor. A empresa diz explicitamente que a ferramenta não determina que houve má conduta.

Um amigo de outra universidade disse que o Turnitin dele não mostra pontuações de IA. Isso é possível? Sim, e provavelmente não é uma diferença de política. A universidade dele com certeza licencia um produto da Turnitin que não inclui a detecção de IA. A ausência de um indicador de IA na caixa de entrada dele é compatível com o uso de TFS ou Similarity sem o Originality.