Turnitin usa la perplessità e la burstiness per rilevare l'IA?

Il modello di Turnitin non è programmato esplicitamente per valutare «burstiness» o «perplessità» come metriche singole. È un classificatore basato su transformer che apprende schemi statistici dai dati di addestramento, inclusi gli schemi nella probabilità delle parole. Quindi l'idea diffusa secondo cui Turnitin controllerebbe due punteggi specifici e segnalerebbe il tuo testo se rientrano nell'intervallo sbagliato è sbagliata sul meccanismo, anche se l'intuizione di fondo, cioè che è la probabilità delle parole a distinguere il testo IA da quello umano, non è del tutto fuori bersaglio.

La correzione conta perché il consiglio costruito sul meccanismo sbagliato fallisce in un modo preciso. Se credi che Turnitin calcoli un numero di perplessità, cerchi di spostare quel numero. Se invece ciò che fa davvero è classificare il testo secondo schemi di probabilità delle parole appresi su segmenti sovrapposti, allora spostare una singola metrica di superficie può cambiare ciò che il classificatore vede, come può non cambiarlo. Abbiamo scritto in termini generali su cosa misurano i rilevatori di IA; questo articolo si restringe a un solo rilevatore e alle due metriche che quasi tutti citano.

Nelle FAQ sulle capacità di rilevamento della scrittura IA di Turnitin c'è una smentita diretta. La frase che tutti continuano a citare, e la frase subito dopo che tutti continuano a omettere:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come «burstiness», «perplessità» o altre metriche singole a volte richiamate nelle discussioni pubbliche.) "Instead, it learns statistical patterns from our training data." (Impara invece schemi statistici dai nostri dati di addestramento.)

Lo stesso paragrafo continua: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Di conseguenza, i suoi risultati sono generati da molti schemi appresi che lavorano insieme, non da un piccolo insieme di regole trasparenti e leggibili da un essere umano. Per questo motivo, le singole previsioni non sempre possono essere spiegate in termini semplici, caratteristica per caratteristica.)

Leggi insieme quelle quattro frasi e la smentita assume una forma precisa. Turnitin dice: non abbiamo un modulo che calcola un numero di burstiness, non abbiamo un modulo che calcola un numero di perplessità, e non inseriamo quei due numeri in una soglia. È la smentita di un'architettura specifica. Non è la smentita del fatto che la probabilità delle parole entri in gioco.

Ecco la frase, sulla stessa pagina, che trasforma una smentita semplice in qualcosa di più complicato. Sotto la domanda su quali parametri o segnali il modello prenda in considerazione, Turnitin scrive:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e padroneggiano le particolari sequenze di probabilità delle parole tipiche di chi scrive.)

Quindi le stesse FAQ che dicono che il modello non è programmato per valutare la perplessità dicono anche che il classificatore è addestrato a rilevare differenze nella probabilità delle parole. Le due affermazioni non sono in contraddizione, ma devi tenerle insieme per non leggere male l'una o l'altra.

La perplessità, come concetto, misura quanto una sequenza di parole sia prevedibile sotto un modello linguistico. Un modello linguistico assegna probabilità alle parole, e la perplessità riassume quanto il modello sia stato sorpreso dalla parola effettivamente successiva a ogni passaggio. Perplessità bassa significa che il modello ha trovato il testo prevedibile. Perplessità alta significa il contrario. Il motivo per cui il testo generato dall'IA tende ad avere una perplessità bassa è che i modelli linguistici producono testo campionando dalle loro distribuzioni di probabilità: il risultato cade quindi in una fascia di probabilità che il modello considerava già probabile.

Questo è il collegamento. Turnitin non calcola un punteggio di perplessità e non lo confronta con una soglia. Ma il suo classificatore è addestrato su schemi di probabilità delle parole, e la perplessità è un modo di riassumere la probabilità delle parole. La smentita riguarda il meccanismo, non il segnale.

La differenza pratica è questa. Un sistema che calcola la perplessità come metrica con nome ti dà un bersaglio chiaro: abbassa il numero di perplessità e abbassi la probabilità di essere segnalato. Un sistema che apprende schemi di probabilità delle parole come parte di un classificatore più ampio non ti dà un bersaglio altrettanto chiaro, perché il classificatore combina molti schemi appresi e il risultato non si riduce a un punteggio singolo che tu possa monitorare. Abbiamo esaminato come leggere un report di scrittura IA di Turnitin e il numero che vi compare è una percentuale unica, ma quella percentuale è un'aggregazione di molte classificazioni a livello di segmento, non la lettura di un indicatore di perplessità.

La descrizione pubblicata da Turnitin di come il modello elabora un elaborato si trova sulla stessa pagina di FAQ:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall'IA. Ogni frase idonea all'interno di questi segmenti eredita il punteggio del segmento. Poiché i segmenti si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. Questi punteggi di frase vengono ulteriormente aggregati e usati per calcolare il punteggio complessivo di scrittura IA del documento.)

La catena di elaborazione è quindi: estrarre le frasi, ritagliarle in segmenti sovrapposti, classificare ogni segmento su una scala da 0 a 1, far ereditare alle frasi idonee i punteggi dei segmenti che le coprono, riunire i punteggi sovrapposti e infine aggregare tutto nella percentuale del documento che vedi nel report.

La sovrapposizione è la parte che rompe la storia semplice della metrica. Una frase vicina al bordo di un segmento si trova anche dentro il segmento successivo, quindi raccoglie punteggi da entrambi. Quando quei punteggi vengono riuniti, ciò che grava su una frase dipende in parte da ciò che grava sulle frasi vicine. Una frase che hai riscritto perché suonasse meno prevedibile può comunque ereditare un punteggio alto da un segmento che copre anche la frase accanto, se quella vicina porta schemi che il classificatore ha imparato ad associare al testo IA.

È per questo che i rilevatori sono così spesso in disaccordo sullo stesso documento. Due classificatori addestrati su dati diversi, che segmentano su confini diversi e riuniscono in modi diversi, produrranno punteggi diversi sullo stesso testo anche se entrambi reagiscono agli stessi schemi di fondo di probabilità delle parole. Il disaccordo non è rumore attorno a una vera lettura della perplessità. Sono due classificatori appresi diversi che producono due aggregazioni diverse.

Se Turnitin calcolasse un punteggio di perplessità, la strategia sarebbe lineare. Misureresti la perplessità del tuo testo, riscriveresti finché il numero non si muove e invieresti di nuovo. Gli strumenti che promettono di «abbassare la perplessità» vendono esattamente questo flusso di lavoro, e il loro materiale di marketing è la fonte principale della confusione sul meccanismo di Turnitin.

Ma se ciò che fa Turnitin è classificare segmenti con un modello che ha appreso schemi di probabilità delle parole insieme a molti altri schemi, la strategia non regge. Non hai un numero da spostare. Hai l'output di un classificatore che risponde alla distribuzione complessiva delle caratteristiche apprese in tutto il documento, riunita su finestre sovrapposte. Una riscrittura che rende un passaggio meno prevedibile preso da sola può cambiare i punteggi riuniti che lo coprono, come può non cambiarli, perché il classificatore legge il segmento, non la frase, e il segmento comprende ciò che sta da una parte e dall'altra.

C'è una seconda conseguenza. La stessa pagina di FAQ definisce che cosa il modello considera testo idoneo:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Questo testo idoneo comprende solo frasi in prosa, cioè analizziamo unicamente blocchi di testo scritti in frasi grammaticali standard e non includiamo altri tipi di scrittura come elenchi, elenchi puntati (strutture brevi non frasali) o altre strutture non frasali.)

La frase successiva è: "This percentage is not necessarily the percentage of the entire submission." (Questa percentuale non è necessariamente la percentuale dell'intera consegna.) Elenchi, elenchi puntati e altre strutture non frasali restano fuori dall'analisi. Quindi una riscrittura che trasforma la prosa in elenchi puntati per spezzare uno schema non sta abbassando un punteggio di perplessità: sta togliendo il testo da ciò che viene valutato, e la percentuale viene calcolata sulla prosa idonea che rimane. È un'operazione diversa, con un profilo di rischio diverso, e vale la pena capire quale delle due stai facendo.

La storia di burstiness e perplessità non è nata per caso. Viene dai primi lavori accademici sul rilevamento del testo IA, dove i ricercatori usavano davvero queste due metriche come caratteristiche in classificatori sperimentali, e dove la differenza di distribuzione tra testo IA e testo umano lungo questi due assi era misurabile e intuitiva. Chi scrive varia la lunghezza delle frasi più di quanto faccia un modello linguistico, e le sue scelte di parole sono meno prevedibili di quelle di un modello. La burstiness coglieva il primo aspetto, la perplessità il secondo.

La storia è rimasta perché è facile da spiegare e perché suggerisce un'azione chiara: varia la lunghezza delle frasi, scegli parole meno prevedibili. Tutte e due sono cose ragionevoli. Il problema è che Turnitin dice espressamente di non costruire il suo rilevatore calcolando quelle due metriche con nome, quindi l'azione chiara è agganciata a una descrizione sbagliata di ciò che il rilevatore fa. Quando il rilevatore evolve, e quello di Turnitin è evoluto più volte dal 2023, l'azione smette di corrispondere a qualcosa nel sistema, ma il consiglio continua a circolare perché la storia è semplice e la ricerca da cui nasce era reale.

È anche per questo che gli strumenti di umanizzazione costruiti per colpire perplessità e burstiness come metriche con nome tendono a perdere efficacia nel tempo. Il rilevatore per cui sono stati progettati non è mai stato del tutto quello che Turnitin descrive, e a ogni iterazione del modello di Turnitin si allarga il divario tra ciò che lo strumento colpisce e ciò che il classificatore legge davvero.

Lo strumento HumanPen è uno strumento di riscrittura di documenti, e la scelta di progettazione che conta qui è che non cerchiamo di spostare una metrica con nome. Riscriviamo i passaggi che il report di scrittura IA ha segnalato, e lo facciamo cambiando la lingua concreta di quei passaggi invece di spingere un numero che supponiamo stia sotto il report.

La ragione è quella che questo articolo ha percorso. Se il classificatore legge schemi di probabilità delle parole su segmenti sovrapposti, allora a cambiare il suo output è il cambiamento della lingua dentro quei segmenti, non lo spostamento di un numero su una dashboard. Uno strumento che ti dice di aver abbassato la tua perplessità di una certa quantità ti sta parlando di un numero che ha calcolato lui, non di un numero calcolato da Turnitin. L'unico numero che Turnitin produce è la percentuale sul report, e quella percentuale è un'aggregazione di classificazioni a livello di segmento, non la lettura di un indicatore di perplessità.

La fatturazione conta solo le parole effettivamente riscritte. Se un report aggiornato sul testo riscritto segnala ancora dei passaggi, puoi importare quel report e rielaborare solo quei passaggi, senza costi.

Quello che non ti diremo è cosa dirà il tuo prossimo report. La nostra pagina dice che lo strumento punta a preservare significato, struttura, terminologia, citazioni, impaginazione e stili riscrivendo solo la lingua necessaria, e poi dice di rivedere i documenti complessi dopo il download. Entrambe le metà vanno prese sul serio.

Turnitin controlla la perplessità? Non come metrica con nome. Le FAQ di Turnitin dicono che il suo modello è "not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions," (non programmato esplicitamente per valutare segnali specifici come «burstiness», «perplessità» o altre metriche singole a volte richiamate nelle discussioni pubbliche,) e aggiungono che "it learns statistical patterns from our training data." (impara schemi statistici dai nostri dati di addestramento.) La stessa pagina dice che i suoi classificatori sono "trained to detect these differences in word probability," (addestrati a rilevare queste differenze nella probabilità delle parole,) e la perplessità è una misura della probabilità delle parole. Il segnale quindi c'è, ma non viene calcolato come punteggio a sé stante.

Turnitin controlla la burstiness? Stessa risposta. La burstiness, che descrive la variazione nella lunghezza e nella struttura delle frasi, non è una metrica con nome nel modello di Turnitin. Il classificatore può apprendere schemi legati alla variazione delle frasi come parte del suo addestramento, ma non esiste un modulo che calcoli un numero di burstiness e lo confronti con una soglia.

Allora la spiegazione popolare è completamente sbagliata? Non completamente. L'intuizione che c'è dietro, cioè che il testo IA sia più prevedibile di quello umano nella scelta delle parole e nella struttura delle frasi, è corretta come direzione. Ciò che è sbagliato è sostenere che Turnitin calcoli due punteggi con nome e segnali il tuo testo in base a quelli. Turnitin dice che non lo fa, e il meccanismo che descrive al suo posto, un classificatore transformer che legge segmenti sovrapposti, è un'architettura diversa, con punti deboli diversi.

Se Turnitin non usa quelle metriche, cosa usa? Un classificatore basato su transformer che legge segmenti sovrapposti del tuo testo, assegna a ogni segmento una probabilità che sia stato generato dall'IA, riunisce questi punteggi sulle finestre sovrapposte e li aggrega in una percentuale a livello di documento. Il classificatore è addestrato su schemi di probabilità delle parole tratti da testi umani e testi IA. Abbiamo trattato più nel dettaglio la meccanica a livello di segmento in cosa misurano i rilevatori di IA.

Perché gli strumenti che promettono di abbassare la perplessità a volte funzionano comunque? Perché i cambiamenti linguistici che abbassano un punteggio di perplessità calcolato, usare parole meno prevedibili, variare la struttura, sono anche il tipo di cambiamenti che possono spostare ciò che vede un classificatore di probabilità delle parole. Lo strumento punta alla metrica sbagliata, ma alcune delle modifiche che apporta cambiano per caso il segnale giusto. Lo scarto emerge col tempo: a ogni iterazione del classificatore, la correlazione tra la metrica bersaglio dello strumento e la reale frontiera decisionale del classificatore si sposta, e lo strumento perde efficacia senza cambiare nulla di sé.

Questo significa che dovrei smettere di cercare di rendere la mia scrittura meno prevedibile? Significa che l'obiettivo è giusto ma la metrica non lo è. Un testo che varia nella struttura e non ricade in schemi generici ha meno probabilità di assomigliare a ciò che il classificatore ha imparato a considerare tipico dell'IA. L'errore sta nel pensare di stare spostando un punteggio con nome su un quadrante, quando in realtà stai cambiando la lingua che il classificatore legge attraverso finestre sovrapposte. È una cosa che vale la pena fare, solo non è ciò che la spiegazione popolare dice che tu stia facendo.