Ho rivisto il mio elaborato e il punteggio IA è salito

Un secondo report che segna un numero più alto del primo non misura quanto bene hai rivisto il testo. Tre elementi pubblicati del modo in cui Turnitin produce la percentuale possono farla salire ciascuno per conto proprio. Le frasi vengono valutate all’interno di segmenti sovrapposti, quindi una modifica cambia con cosa vengono raggruppate le sue vicine, e l’effetto non ha un raggio fisso. La percentuale è calcolata solo sulla prosa idonea: una revisione che toglie prosa dal documento riduce il denominatore, mentre il testo segnalato resta fermo. E le evidenziazioni che puoi contare e il numero in copertina sono due grandezze diverse, a cui è consentito muoversi in direzioni opposte nello stesso report.

Niente di tutto questo dice che la revisione fosse sbagliata o che il testo sia peggiorato. Dice che la grandezza riportata non si comporta come la parola «percentuale» ti invita a supporre. Qui sotto trovi ogni meccanismo accanto al documento da cui proviene, più un quarto che morde solo se la revisione ha anche accorciato molto il documento, e poi cosa stabilisce e cosa non stabilisce un aumento.

Parti da come una frase riceve un punteggio, perché la risposta è che non ne riceve uno suo. Le FAQ di Turnitin descrivono il processo in un solo paragrafo:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un elaborato viene inviato a Turnitin, le frasi dell’invio vengono estratte e suddivise in sezioni sovrapposte per l’analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento IA e riceve un valore compreso fra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall’IA. Ogni frase idonea all’interno di queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi raggruppati in un punteggio unico. Questi punteggi di frase vengono ulteriormente aggregati e usati per calcolare il punteggio complessivo di scrittura IA del documento.)

Due parole, in quel testo, portano tutto il problema: «overlapping» (sovrapposti) e «pooled» (raggruppati). Una frase si trova in più di un segmento, e ogni segmento viene classificato come blocco. Quindi ogni punteggio che una frase porta è stato prodotto in parte dalle frasi che ha accanto.

Riscrivi una frase e avrai cambiato un dato in ingresso dei punteggi delle sue vicine, che tu le abbia toccate o no. Un paragrafo che hai lasciato intatto di proposito può tornare evidenziato, perché il segmento che lo contiene ora contiene un testo diverso. Succede anche il contrario, che è la versione su cui nessuno scrive per chiedere.

Anche i confini dei segmenti sono una parte mobile nel racconto del fornitore. In una nota di rilascio datata 24 maggio 2023, che descrive il lavoro fatto per ridurre i falsi positivi all’inizio e alla fine dei documenti, Turnitin ha aggiunto:

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Abbiamo anche lavorato per rendere più precisa l’individuazione dei confini delle nostre sezioni, il che in rari casi può portare a un cambiamento dei confini rispetto a una versione precedente.)

Quella fu un miglioramento del 2023, non la descrizione di un difetto attuale, e vale la pena leggerla per un motivo preciso: i confini dei segmenti fanno parte del processo, e Turnitin ha documentato di averli modificati. Le FAQ dicono anche esplicitamente che esistono il raggruppamento e l’aggregazione. Ciò che non pubblicano è la regola di raggruppamento, un’eventuale ponderazione o l’algoritmo di aggregazione. Quindi non c’è modo di stabilire in anticipo quali vicine sposterà una data modifica, né in quale direzione.

Il secondo meccanismo non ha nulla a che fare con la classificazione. È aritmetica, ed è quello che produce le sorprese più grandi.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission." (Questo testo idoneo include solo frasi in prosa, il che significa che analizziamo esclusivamente blocchi di testo scritti in frasi grammaticali standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi non frasali) o altre strutture non frasali. Questa percentuale non è necessariamente la percentuale dell’intero invio.)

Mettiamoci dei numeri. Supponi che la prima versione contenesse 6.000 parole di prosa idonea, di cui 1.800 tornate segnalate: 30%. Per la seconda versione riscrivi 300 parole segnalate e smettono di esserlo: ne restano 1.500. Nella stessa sessione, perché un relatore ha detto che la discussione era pesante, trasformi altre 2.400 parole in un riassunto a elenco puntato e in una tabella di cifre. La prosa idonea è ora di 3.600 parole. 1.500 su 3.600 è poco meno di 42%. Il punteggio è salito di dodici punti in una revisione in cui è stato segnalato meno testo di prima e non è stato segnalato nulla di nuovo da nessuna parte.

Entrambe quelle righe dell’agosto 2023 si chiudono allo stesso modo, chiedendoti di inviare di nuovo un elaborato vecchio prima che una delle due modifiche gli venga applicata: ciò che descrivono è quindi come viene prodotto un report oggi, non come ne è stato prodotto uno vecchio. E nulla della tabella è un consiglio. Due di quelle righe descrivono come rendere un documento più difficile da leggere, e chi riceve una sezione di discussione sotto forma di elenco puntato se ne accorge. Il motivo per conoscere l’elenco è diagnostico: se una di quelle righe descrive la tua revisione, il movimento ha una spiegazione che non dice nulla su come suonano le tue frasi. Il caso della lista delle referenze ha il proprio groviglio, che abbiamo sciolto in perché Turnitin ha segnalato le mie referenze.

I più controllano prima le evidenziazioni, perché una lista più corta è la parte che dà la sensazione di aver fatto progressi. Turnitin dice chiaramente che le due cose possono discordare:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Questo significa che un documento contenente diversi tipi di scrittura produrrebbe una discrepanza fra la percentuale e le evidenziazioni.)

Quindi dire «ho meno passaggi evidenziati dell’ultima volta e il numero è comunque salito» non è una contraddizione da risolvere. Sono due grandezze con denominatori diversi, lette come se fossero una sola. E sotto la soglia del 20% non c’è niente da contare: Turnitin trattiene sia il punteggio sia le evidenziazioni per i risultati compresi fra 1% e 19%, quindi un report senza evidenziazioni non è un report in cui non è stato segnalato nulla. Abbiamo esaminato le parti del report una per una in come leggere un report di scrittura IA di Turnitin.

Se la revisione è stata anche un taglio, c’è un quarto meccanismo, che riguarda in particolare gli invii brevi:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Nei documenti più brevi, dove ci sono solo poche centinaia di parole, la previsione sarà quasi sempre «tutto o niente», perché facciamo la previsione su un solo segmento senza la possibilità di sovrapposizione. Questo significa che una parte del testo che è un misto di contenuto generato dall’IA e contenuto originale potrebbe essere segnalata come interamente generata dall’IA.)

La sovrapposizione che smussa un documento lungo non è disponibile su uno corto, e la modalità di errore descritta da Turnitin va verso l’alto: contenuto misto segnalato come interamente IA. C’è anche un limite inferiore, perché i requisiti del file chiedono almeno 300 parole di prosa prima che venga generato un report, argomento che abbiamo trattato in Turnitin può controllare una tesi intera. Fra le due cose, una revisione che ha accorciato il testo e una revisione che ne ha cambiato la prosa sono due esperimenti condotti insieme, e il report restituisce un solo numero per entrambi.

Nel report non c’è traccia di ciò che hai cambiato. Non esiste nessun campo che attribuisca il movimento a una modifica specifica. L’aumento è quindi un’osservazione su due file, non un giudizio sul lavoro che c’è in mezzo.

• Non stabilisce che le tue modifiche abbiano fatto sembrare il testo più simile all’IA. Con i meccanismi descritti sopra, il numero può salire mentre tutte le frasi che hai riscritto tornano pulite.
• Non stabilisce che il primo numero fosse quello affidabile. I due report sono uscite separate, e nessuno dei due spiega perché differisce dall’altro.
• Non stabilisce che un altro passaggio di riscrittura sia la mossa successiva. Se si è mosso il denominatore, un ulteriore passaggio sulla prosa cambia solo il numeratore.

Nelle FAQ di Turnitin c’è anche una frase che appartiene a questa conversazione, e che di solito viene citata senza la sua seconda metà:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (A volte i falsi positivi (segnalare erroneamente come generato dall’IA un testo scritto da un essere umano) possono includere contenuti senza molta variazione strutturale, testo che si ripete letteralmente, o testo che è stato parafrasato senza sviluppare nuove idee. Se il nostro indicatore mostra una quantità maggiore di scrittura IA in tale testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Letta fino in fondo, non è un’accusa puntata contro di te. È il fornitore che nomina i tipi di scrittura umana che il suo stesso modello può segnalare erroneamente, e poi dice a chi legge il report di tenere presente questa possibilità quando guarda la percentuale. Se un relatore sta guardando un numero che è salito, quella cautela si trova sulla stessa pagina del numero. L’elenco di modifiche manuali costruito sulla prima metà si trova in come rendere umano un testo IA senza strumenti, e il metodo per confrontare due report passaggio per passaggio invece che totale contro totale in ancora segnalato dopo un nuovo controllo Turnitin.

Tutto quanto sopra è un argomento sul perimetro. Se cambiare una frase cambia con cosa vengono raggruppate le sue vicine, allora la cosa più piccola che abbia senso cambiare è più grande di una frase, e i passaggi con cui ti trovi bene meritano di restare esattamente come sono.

È questo il perimetro che descrive lo strumento HumanPen nella sua pagina pubblica dedicata al report. Carichi il DOCX con un report IA di Turnitin o iThenticate, e i passaggi segnalati definiscono cosa viene riscritto. Tutto il resto resta congelato. La pagina pubblica di humanize indica anche che la fatturazione si basa sulle parole effettivamente riscritte, non sulla dimensione del file che hai inviato.

Se un report successivo segnala ancora dei passaggi, le FAQ pubbliche descrivono un secondo passaggio gratuito sui passaggi che restano segnalati. Questa regola di servizio non è una previsione. Non dice cosa leggerà il prossimo report, e Turnitin non ha pubblicato alcuna corrispondenza fra una modifica e un movimento del punteggio.

Il punteggio IA di Turnitin può davvero salire dopo una revisione? Sì, e non c’è niente di strano. La percentuale non è costruita a partire da verdetti per singola frase, quindi non ha motivo di seguire il numero di frasi che hai corretto. I segmenti sovrapposti, una quantità diversa di prosa idonea e un documento più corto la muovono ciascuno per conto proprio.

Un numero più alto significa che le mie modifiche hanno peggiorato le cose? Non di per sé. Il report non contiene alcuna registrazione di ciò che hai cambiato né attribuisce il movimento a una data modifica. Un aumento è compatibile con modifiche che hanno funzionato, con modifiche che non hanno fatto nulla e con un documento la cui struttura è cambiata sotto il calcolo.

Ho meno frasi evidenziate ma una percentuale più alta. Quale delle due è giusta? Tutte e due, perché non sono due visioni della stessa grandezza. Turnitin dice che un documento che mescola tipi di scrittura mostrerà una discrepanza fra la percentuale e le evidenziazioni, dato che la percentuale è calcolata sulla prosa idonea mentre l’evidenziazione riguarda l’intero file.

Ho cancellato molto testo per rispettare un limite di parole e il punteggio è schizzato. Perché? Molto probabilmente il denominatore. La percentuale corre sulla prosa idonea, quindi rimuovere prosa non segnalata fa salire la quota segnalata senza alcun cambiamento al testo segnalato. Se ora il risultato conta solo poche centinaia di parole, Turnitin dice anche che i documenti brevi vengono valutati quasi sempre in modo tutto o nulla.

Dovrei semplicemente riscrivere tutto l’elaborato? È la risposta a cui invita il numero, ed è di rado quella che le prove sostengono. Confronta dove si trovano le evidenziazioni nei due report prima di decidere quanto toccare, e congela tutto ciò il cui testo esatto porta significato, come cifre, citazioni, definizioni e passaggi del metodo.