Perché Turnitin dice che il tuo lavoro è IA al 100%

Tre situazioni producono un 100 molto più spesso dell'idea che ogni frase tu abbia scritto sembri uscita da una macchina, e puoi confermarle o escluderle in una decina di minuti. Controlla quale numero hai in mano: secondo Turnitin l'indicatore di scrittura IA non è visibile agli studenti, quindi una percentuale che hai trovato da solo, dentro la tua schermata, è il punteggio di similarità e non quello dell'IA. Controlla quanta prosa contiene il file: Turnitin dice che nei documenti di poche centinaia di parole la previsione è «mostly 'all or nothing'» (per lo più «tutto o niente»), perché avviene su un singolo segmento e senza possibilità di sovrapposizione. Controlla di cosa sia il 100: la percentuale è calcolata sul testo idoneo, e Turnitin dice che tale valore «is not necessarily the percentage of the entire submission» (non è necessariamente la percentuale dell'intera consegna). Solo quando tutte e tre sono escluse ha senso chiedersi cosa il modello abbia visto nella scrittura stessa.

Le tre richiedono risposte completamente diverse, ed è per questo che l'ordine conta più della spiegazione. Questa pagina riguarda come nasce un numero estremo. Non è un copione per un colloquio su una cattiva condotta, e nulla di quanto c'è qui predice ciò che dirà un report futuro.

Turnitin è esplicito su chi può vedere il numero dell'IA. Nelle sue guide si legge che «only instructors and administrators are able to see the indicator» (solo docenti e amministratori possono vedere l'indicatore) e, separatamente, che «The AI writing detection indicator and report are not visible to students.» (L'indicatore e il report di rilevamento della scrittura IA non sono visibili agli studenti.) La frase subito dopo la seconda conta altrettanto: «However, with the PDF download feature, instructors can download and share the AI report with students.» (Tuttavia, con la funzione di download in PDF, i docenti possono scaricare e condividere il report IA con gli studenti.) Quindi entrambe le strade esistono. Un PDF che qualcuno ti ha inviato può benissimo essere il report IA. Una percentuale su cui hai cliccato tu, nella tua schermata di consegna, non è l'indicatore IA.

Resta l'altro numero, e lì il 100 è un valore molto più ordinario. Un punteggio di similarità del 100% ha una strada documentata e del tutto innocente: le tue bozze precedenti, archiviate per un altro compito, che combaciano con la versione finale quasi parola per parola. Abbiamo ricostruito come succede, e quando non succede, in la mia bozza precedente corrisponderà alla mia nuova consegna. I due report sono analisi separate che possono discordare in tutte e quattro le direzioni, che è l'argomento di report IA contro report di similarità.

Un 100 sul versante della similarità e un 100 sul versante dell'IA sono risultati diversi, con cause diverse e risposte diverse. Passare una serata sul numero sbagliato è il modo più comune in cui questa faccenda va storta.

La descrizione pubblicata da Turnitin del calcolo ha tre movimenti: le frasi vengono estratte e raggruppate in segmenti sovrapposti, ogni segmento riceve una probabilità compresa tra 0 e 1, e ogni frase idonea eredita il punteggio di ogni segmento in cui si trova. Poiché i segmenti si sovrappongono, una frase vicina a un confine porta più di un punteggio, che poi viene riunito. Sono questi punteggi di frase riuniti a essere aggregati nel valore del documento. Proprio la media è il motivo per cui un documento può tornare a 43 invece che a uno degli estremi.

Ora togli questo. Le FAQ di Turnitin dicono cosa succede quando non c'è nulla su cui fare la media:

«In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.» (Nei documenti più brevi, con solo poche centinaia di parole, la previsione sarà per lo più «tutto o niente», perché stiamo facendo la previsione su un singolo segmento senza possibilità di sovrapposizione. Questo significa che un testo che mescola contenuto generato dall'IA e contenuto originale potrebbe essere segnalato come interamente generato dall'IA.)

Leggila come un'affermazione sulla risoluzione, non sull'accuratezza. In un documento lungo, un 100 significherebbe che un gran numero di previsioni separate è caduto tutto dalla stessa parte. In un documento di poche centinaia di parole può significare una sola previsione, che l'interfaccia poi mostra come percentuale. I due casi vengono mostrati in modo identico e non sono lo stesso tipo di prova, e la seconda frase di quella citazione dice apertamente che è il contenuto misto a essere travolto.

Sotto c'è una soglia minima. Una consegna deve contenere almeno 300 parole di prosa in formato lungo prima che venga generato un report IA. Quindi il file più corto che può ricevere un numero è anche quello il cui numero poggia sul minor numero di osservazioni indipendenti, e la fascia appena sopra la soglia è dove questi due fatti si sovrappongono. Un elaborato riflessivo di 900 parole, la breve relazione di un set di esercizi, un abstract per convegno allungato fino a raggiungere la lunghezza richiesta: tutti rientrano nella zona che Turnitin descrive. Cosa succeda all'altro capo dell'intervallo, quando una tesi supera ciò che un singolo report copre, lo abbiamo affrontato in Turnitin può controllare una tesi intera.

La percentuale non è calcolata sul tuo documento. È calcolata su quello che Turnitin chiama testo idoneo, e la definizione è ristretta: «This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.» (Questo testo idoneo include solo frasi di prosa, il che significa che analizziamo solo blocchi di testo scritti in frasi grammaticalmente standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.) La frase che segue è quella da tenere a mente: «This percentage is not necessarily the percentage of the entire submission.» (Questa percentuale non è necessariamente la percentuale dell'intera consegna.)

Alcune esclusioni sono indicate separatamente. Le note di rilascio di Turnitin registrano che è stato corretto un bug che evidenziava scrittura IA nelle bibliografie e che «Bibliographies are now excluded when processing the AI writing report» (Le bibliografie sono ora escluse nell'elaborazione del report di scrittura IA), e altrove che «We are now able to process long-form prose text in tables.» (Ora siamo in grado di elaborare testo di prosa lungo nelle tabelle). Entrambe le voci finiscono allo stesso modo, con l'indicazione di non dare per scontato che la modifica valga per ciò che hai già consegnato: riconsegna per rielaborare. Quindi una lista di riferimenti è fuori dal calcolo e i paragrafi dentro una tabella ne fanno parte, che non è l'intuizione che i più hanno sull'una o sull'altra cosa.

Facciamo passare un file reale attraverso tutto questo. Una relazione di laboratorio di 5.000 parole con una tabella dei metodi, tre elenchi puntati di protocollo, un'appendice e 60 riferimenti potrebbe contenere 2.000 parole idonee. Un 100 su quel report è un'affermazione su quelle 2.000 parole. Non è un'affermazione sulle altre 3.000, che non sono mai state valutate e che non possono essere difese né attaccate sulla base del numero.

È anche per questo che un 100 può convivere con pagine che non portano alcuna evidenziazione. Turnitin dice che un documento contenente diversi tipi di scrittura «would result in a disparity between the percentage and the highlights» (provocherebbe una discrepanza tra la percentuale e le evidenziazioni). In cima all'intervallo quella discrepanza sembra una contraddizione, ed è un comportamento atteso.

Contare le righe evidenziate e confrontarle con la percentuale non risolverà nulla, perché i due valori sono calcolati su cose diverse. Come leggere un report di scrittura IA di Turnitin passa in rassegna gli altri stati del report per lo stesso motivo.

Se il file è di 8.000 parole di prosa continua, la spiegazione del segmento singolo salta. Molte previsioni separate sono davvero cadute dalla stessa parte, e la domanda diventa cosa possa far sembrare un intero documento uguale al modello dall'inizio alla fine. Turnitin pubblica una risposta parziale, sotto forma delle proprietà che dice comparire nei propri falsi positivi:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (A volte i falsi positivi (segnalare erroneamente testo scritto da un essere umano come generato dall'IA) possono includere contenuti con poca varietà strutturale, testo che si ripete letteralmente, o testo parafrasato senza sviluppare nuove idee. Se il nostro indicatore mostra una quantità maggiore di scrittura IA in un testo di questo tipo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Tutte e tre le proprietà sono proprietà di un intero documento, non di una frase. Questa è la nostra lettura e non qualcosa che Turnitin afferma, ma è la parte che si adatta alla forma della domanda: un elaborato scritto secondo un ordine di sezioni imposto, in una disciplina con un modo fisso di formulare un paragrafo sui metodi, che ripete i propri obiettivi nell'abstract, poi nell'introduzione e poi nella discussione, ha più o meno lo stesso carattere in ogni segmento. Non c'è nessun passaggio che differisca abbastanza dai vicini da trascinare l'aggregato verso il basso. L'uniformità non è un difetto di scrittura, e in diversi generi è il requisito, che è esattamente il motivo per cui il risultato è difficile da contestare indicando un solo paragrafo.

La seconda frase di quella citazione è un'istruzione del fornitore a chi legge il punteggio, non una difesa che costruisci tu. Ciò che ha davvero smosso le decisioni è un altro argomento, e lo abbiamo scritto partendo da casi documentati in segnalato, ma lo hai scritto tu. Se una revisione è appropriata e consentita, le proprietà in quell'elenco sono anche la cosa più vicina a una specifica per farlo a mano, che è l'approccio di come rendere umano un testo IA senza uno strumento.

Una cosa da sapere prima di costruire qualsiasi argomento sull'idea che il numero sia esagerato: la taratura pubblicata va nella direzione opposta. Turnitin dice che «In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document» (Per mantenere questo basso tasso dell'1% di falsi positivi, c'è la possibilità che ci sfugga del testo scritto con l'IA in un documento), e indica la direzione dell'errore: «if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.» (se identifichiamo che il 50% di un documento è probabilmente scritto da uno strumento di IA, potrebbe contenere fino al 65% di scrittura IA). Qualunque altra cosa stia succedendo, l'idea che lo strumento sia progettato per segnalare troppo non è il progetto che il fornitore descrive.

Questo non fa di un 100 un accertamento. Turnitin dichiara in tre pagine di aiuto separate che il suo modello può identificare male testo scritto da esseri umani, generato dall'IA e parafrasato dall'IA, e che non dovrebbe essere l'unica base per un provvedimento sfavorevole a uno studente. E l'affermazione di accuratezza che le persone si rilanciano tra loro porta una precisazione che si perde per strada, che abbiamo analizzato in cosa significa un tasso di falsi positivi dell'1%. Non esiste inoltre alcuna soglia pubblicata oltre la quale un numero diventa cattiva condotta, in nessuna delle due direzioni: il 20% di IA è troppo? spiega perché il 20 nell'interfaccia è una regola di visualizzazione e non una regola su di te.

Se lo hai scritto tu, riscriverlo è la prima mossa sbagliata. Cambia l'oggetto in discussione e risponde a una domanda che nessuno ha fatto.

Vale la pena dirlo chiaramente, anche se va contro di noi: a 100, ciò per cui lo strumento HumanPen è normalmente utile non ha nulla su cui fare presa. Carichi il documento insieme al report di Turnitin o di iThenticate e vengono riscritti solo i passaggi abbinati dal report, mentre il resto resta identico parola per parola, e la fatturazione conta solo le parole effettivamente riscritte. Al 30% è un risparmio reale, perché due terzi del file non vengono né toccati né addebitati. Al 100% il report ha contrassegnato tutto, quindi l'ambito è l'intero documento e il costo è una passata completa. Se speravi che il report riducesse il lavoro, il 100 è l'unico numero con cui non lo fa.

Se un nuovo report segnala ancora dei passaggi, i passaggi idonei possono essere rielaborati gratuitamente.

Nulla di tutto questo è una promessa su un risultato di rilevamento, e non ne faremo una. Nessuno strumento può dirti cosa produrrà una versione futura del modello su un documento che non ha visto, e chi offre un punteggio garantito sta descrivendo qualcosa che non controlla. Ci sono anche casi in cui lo strumento è del tutto l'arnese sbagliato: se la tua posizione è che il lavoro è tuo, il numero non è l'oggetto da aggiustare.

Il 100% significa che ogni frase che ho scritto è stata segnalata? No. La percentuale è calcolata sul testo idoneo, che esclude elenchi, punti elenco e altre strutture che non sono frasi, e Turnitin dice che il valore non è necessariamente la percentuale dell'intera consegna. Un file con molte tabelle, elenchi e una sezione di riferimenti può mostrare 100% mentre gran parte di esso non è mai stata valutata.

Il mio elaborato è di sole 600 parole. È questa la spiegazione? È la prima cosa da controllare. Turnitin lo descrive così: nei documenti di poche centinaia di parole la previsione è per lo più «all or nothing» (tutto o niente), perché lavora su un singolo segmento senza possibilità di sovrapposizione, e quindi una mescolanza di contenuto generato dall'IA e di contenuto originale può essere segnalata come interamente generata dall'IA.

Ho visto il numero nella mia schermata di Turnitin. È il punteggio IA? Quasi certamente no. Turnitin dice che solo docenti e amministratori possono vedere l'indicatore IA e che non è visibile agli studenti, anche se i docenti possono scaricare il report IA in PDF e condividerlo. Una percentuale a cui sei arrivato da solo è il punteggio di similarità, che ha le sue strade ordinarie per arrivare a 100.

Qualche strumento può garantire che il prossimo report sarà più basso? No, e considera quell'affermazione come un campanello d'allarme. Le versioni dei rilevatori cambiano, e nessuno fuori dal fornitore può impegnarsi sul risultato di una versione del modello che non è ancora stata eseguita. Ciò che un servizio di revisione può definire è l'ambito e il costo, non un punteggio.