Turnitin segna 100% AI: può comunque trattarsi di testo scritto da una persona?

Sì, è possibile che un documento scritto interamente da una persona riceva un punteggio AI del 100%. La documentazione stessa di Turnitin dice che il modello "may not always be accurate" (potrebbe non essere sempre accurato) e che l'indicatore di scrittura AI "should not be used as the sole basis for action." (non andrebbe usato come unica base per prendere provvedimenti). Le FAQ elencano anche le caratteristiche specifiche del testo che danno luogo più facilmente a falsi positivi: contenuti con scarsa varietà strutturale, testi che si ripetono e testi parafrasati senza sviluppare idee nuove. Un punteggio del 100% non significa che il rilevatore sia certo che tu abbia usato l'AI. Significa che la classificazione dei tuoi segmenti di testo ha prodotto valori di probabilità che, una volta aggregati, arrivano al 100%. Che quel risultato sia corretto dipende da fattori che il punteggio, da sé, non ti dice.

Le FAQ di Turnitin affermano:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Per questo dobbiamo sottolineare che la percentuale dell'indicatore di scrittura AI non andrebbe usata come unica base per prendere provvedimenti, né come criterio di valutazione definitivo da parte dei docenti.)

Un altro articolo di assistenza lo dice in modo ancora più diretto:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Il nostro modello di rilevamento della scrittura AI potrebbe non essere sempre accurato — può classificare in modo errato testi scritti da persone, generati dall'AI o parafrasati dall'AI —, quindi non andrebbe usato come unica base per adottare provvedimenti sfavorevoli nei confronti di uno studente.)

La frase successiva di quello stesso articolo: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Per stabilire se sia avvenuta una violazione della correttezza accademica servono un esame più approfondito e il giudizio umano, uniti all'applicazione delle specifiche politiche accademiche dell'istituzione.)

Turnitin pubblica anche una pagina di linee guida per i docenti, in cui il punteggio viene inquadrato come uno fra i tanti elementi da valutare:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Non ha lo scopo di fornire risposte definitive se preso da solo. Più importante di qualsiasi strumento c'è il docente che legge il punteggio e decide, bilanciando queste informazioni con la conoscenza diretta che ha dei propri studenti, del loro lavoro e delle politiche dell'istituzione.)

Lette insieme, queste affermazioni dicono tre cose. Il modello può sbagliare. Il punteggio è un dato fra tanti, non un verdetto definitivo. E stabilire se ci sia stata una violazione richiede un giudizio umano che vada oltre il punteggio.

Le FAQ di Turnitin elencano le caratteristiche specifiche del testo che possono generare falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi — cioè segnalare come generato dall'AI un testo scritto da una persona — possono riguardare contenuti con scarsa varietà strutturale, testi che si ripetono alla lettera oppure testi parafrasati senza sviluppare idee nuove.)

La frase che segue: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore rileva una quantità più alta di scrittura AI in testi di questo tipo, vi consigliamo di tenerne conto quando leggete la percentuale indicata.)

Questa frase conta. Turnitin sta dicendo ai docenti che un punteggio alto su certi tipi di testo va guardato con cautela. Se il tuo scritto ha una struttura di frasi uniforme, se ripete le stesse espressioni oppure se parafrasa senza aggiungere nuove analisi, allora condivide le caratteristiche dei testi che Turnitin stessa definisce a rischio di falsi positivi. Questo non dimostra che il tuo punteggio sia sbagliato. Però ti offre una spiegazione concreta del motivo per cui un testo scritto da una persona possa arrivare al 100%.

Anche la lunghezza del documento conta. Le FAQ di Turnitin descrivono un comportamento specifico per gli elaborati brevi:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Nei documenti più brevi, quelli di poche centinaia di parole, la previsione sarà per lo più «tutto o niente», perché lavoriamo su un solo segmento, senza la possibilità di sovrapporre le analisi.)

La frase successiva: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che un testo in cui si mescolano contenuti generati dall'AI e contenuti originali potrebbe essere segnalato come interamente generato dall'AI.)

Una nota di rilascio del dicembre 2023 aggiunge: "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (I risultati mostrano che la nostra accuratezza migliora con un po' più di testo: gli elaborati con meno di 300 parole possono quindi ricevere un punteggio di scrittura AI probabilmente meno accurato.)

Se il tuo documento è breve, un punteggio del 100% è con maggiore probabilità un artefatto della classificazione «tutto o niente» anziché una misurazione precisa. Il rilevatore ha meno segmenti su cui lavorare, meno possibilità di sovrapporli e meno dati su cui calcolare una media. Poche centinaia di parole scritte da una persona che per caso condividono schemi statistici con la prosa generata dall'AI possono finire segnalate come interamente AI. Il funzionamento di questo meccanismo, a livello di segmento, è spiegato in perché Turnitin dice che il tuo lavoro è AI al 100%.

Le FAQ di Turnitin riconoscono l'esistenza di un compromesso voluto nella gestione dei falsi positivi:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Per mantenere questo tasso basso di falsi positivi, pari all'1%, c'è la possibilità che ci sfugga del testo scritto con l'AI all'interno di un documento. Per noi va bene così, perché non vogliamo segnalare erroneamente come scritto dall'AI un testo scritto da una persona. Per esempio, se rileviamo che il 50% di un documento è probabilmente scritto con uno strumento di AI, quel documento potrebbe contenere fino al 65% di scrittura AI.)

La direzione è chiara: Turnitin preferisce lasciarsi sfuggire del testo AI piuttosto che accusare ingiustamente chi ha scritto di suo pugno. Resta però il fatto che l'errore opposto, cioè segnalare come AI un testo scritto da una persona, continua a verificarsi con una frequenza che l'azienda stessa definisce inferiore all'1% per i documenti con oltre il 20% di scrittura AI. Non è uno zero. In una classe di 200 studenti che consegnano elaborati interamente scritti da loro, uno o due potrebbero ricevere una segnalazione AI restando dentro l'obiettivo che l'azienda si è data. Cosa significa un tasso di falsi positivi dell'1% quando un'università consegna 75.000 elaborati riporta lo stesso calcolo su scala più ampia.

Per riassumere quanto abbiamo visto:

• La documentazione stessa di Turnitin dice che il modello "may not always be accurate" (potrebbe non essere sempre accurato) e che il punteggio non andrebbe usato "as the sole basis for action." (come unica base per prendere provvedimenti).
• Alcuni tipi di testo sono più esposti ai falsi positivi: scarsa varietà strutturale, ripetizioni e parafrasi senza idee nuove.
• I documenti brevi (poche centinaia di parole) sono soggetti a previsioni «tutto o niente» e possono risultare meno accurati.
• L'obiettivo ufficiale sui falsi positivi è inferiore all'1% per i documenti con oltre il 20% di AI, e non è zero.
• Turnitin invita i docenti a trattare il punteggio come un singolo dato, non come una risposta definitiva.

Se hai ricevuto un punteggio del 100% e il testo l'hai scritto tu, hai elementi concreti per parlarne con il tuo docente, e segnalato, ma l'hai scritto tu spiega come prepararsi a quel colloquio. Le avvertenze ufficiali ti forniscono parole precise da usare. Se hai un report di Turnitin e vuoi intervenire sui passaggi segnalati, importa il report e affrontali uno per uno. I passaggi che rientrano nei requisiti possono essere rielaborati gratuitamente.