Cosa misurano i rilevatori di IA oltre a perplexity e burstiness

Perplexity misura quanto le tue scelte di parole risultano sorprendenti per un modello linguistico. GPTZero, la cui pagina esplicativa ha reso popolare il termine, la definisce come la probabilità che un modello di IA sceglierebbe esattamente le stesse parole presenti in un documento. Se la parola successiva è quella che il modello avrebbe previsto, la perplexity è bassa. La regola pratica che pubblicarono allora era che una perplexity sopra 85 rendeva più probabile che il testo fosse umano.

Burstiness misura la variabilità. Gli esseri umani variano la costruzione delle frasi: una frase lunga e composta, poi una breve e piatta, poi un frammento. I modelli linguistici, nelle parole di GPTZero, scrivono con un livello molto costante di «somiglianza all’IA», quindi la loro burstiness resta bassa.

Un rilevatore statistico può calcolare questi valori per frasi o passaggi facendo passare il testo in un modello linguistico di riferimento e chiedendo quanto fosse prevedibile. La scelta del modello conta: un’espressione che sorprende un modello può essere routine per un altro, perché sono stati addestrati su corpora diversi e suddividono il testo in token in modo diverso.

Entrambe le statistiche sono proprietà del testo. Nessuna delle due è una proprietà di chi lo ha scritto. Nel calcolo non c’è nulla che abbia accesso a chi ha digitato cosa.

La perplexity non è una percentuale di paternità dell’IA. Di solito è una media trasformata delle probabilità del token successivo, e la sua scala assoluta dipende dal modello. La burstiness è ancora meno standardizzata: i fornitori possono usare la variabilità della perplexity delle frasi, della lunghezza, della sintassi oppure una combinazione proprietaria. Due strumenti che mostrano la stessa parola possono quindi riportare calcoli diversi.

Un rilevatore completo ha comunque bisogno di una regola di decisione. Può aggregare i punteggi delle frasi in un punteggio del documento, richiedere una quantità minima di prosa, smussare le frasi vicine e applicare una soglia scelta per bilanciare falsi positivi e rilevazioni mancate. Queste scelte di prodotto possono cambiare il risultato riportato anche quando le caratteristiche del testo sono identiche.

Perplexity bassa significa scelte di parole prevedibili. Le scelte di parole prevedibili hanno molte cause, e che il testo sia stato generato da un modello è solo una di queste.

• Scrivere in una seconda lingua. Rimanere dentro il vocabolario che padroneggi è una strategia sensata e produce esattamente questa impronta; ecco perché 7 rilevatori hanno classificato male il 61% dei temi TOEFL scritti da esseri umani.
• Scrivere in un genere con convenzioni fisse. Una sezione sui metodi, una definizione giuridica, un protocollo di laboratorio. Le formule fisse sono il registro giusto, non un indizio.
• Curare la chiarezza. Eliminare costruzioni insolite e un ritmo irregolare può rendere le parole più prevedibili, anche se l’effetto dipende dal rilevatore e dal passaggio.
• Citare o seguire da vicino un modello. Le dichiarazioni etiche, le checklist di reporting e le definizioni standard riusano deliberatamente un linguaggio stabile. Esserne l’autore non rende statisticamente nuove quelle frasi.
• Scrivere un campione breve. Con meno contesto, un solo paragrafo formulare può dominare il risultato. Alcuni fornitori impongono quindi regole di lunghezza minima, invece di fingere che ogni frammento sia valutabile allo stesso modo.

Questo apre una possibilità scomoda: una revisione prudente può migliorare la leggibilità senza migliorare il risultato del rilevatore. Un esempio è la classifica di HumanizerBench, dove Grammarly ha ottenuto punteggi alti per conservazione del significato e leggibilità nel test pubblicato, ma ha avuto un tasso di aggiramento di 0,0. Quel benchmark non dimostra perché i rilevatori abbiano reagito così, e non va generalizzato oltre i suoi campioni. Mostra però che la qualità della scrittura e l’aggiramento dei rilevatori sono assi di valutazione separati.

La prevedibilità non è plagio, né cattiva condotta, né prova di automazione. Può essere una caratteristica di una prosa umana chiara, convenzionale e rivista con cura.

È la parte che molte spiegazioni sui rilevatori tralasciano. GPTZero afferma in cima alla propria pagina che dall’autunno 2023 non usa più perplexity e burstiness per il rilevamento, dopo essere passato a un’architettura di deep learning. Più avanti, la stessa pagina descrive i metodi statistici come indicatori in un sistema più ampio: un utile avvertimento contro l’idea di ridurre un prodotto che cambia a due termini pubblici.

Turnitin pubblica le categorie del report, le regole di ammissibilità e le avvertenze, ma non i pesi del modello, né il corpus di addestramento, né la catena di caratteristiche necessari per riprodurre il suo classificatore. Altri fornitori commerciali rivelano livelli di dettaglio diversi. Un’etichetta di prodotto come «deep learning» identifica una famiglia di metodi, non una misurazione trasparente.

Perplexity e burstiness sono un utile modello storico del comportamento dei rilevatori, non una ricetta affidabile per prevedere il punteggio attuale di uno strumento commerciale.

I classificatori profondi possono imparare combinazioni di sintassi, semantica e schemi a lungo raggio difficili da nominare singolarmente. Possono anche essere aggiornati senza che i vecchi report vengano ricalcolati. Per questo la versione del rilevatore, la copertura dei modelli linguistici e la data del report fanno parte delle prove. Un punteggio senza questi dettagli è meno riproducibile di quanto sembri.

Questo blocca anche un’inferenza comune: un passaggio non riceve un punteggio alto perché ha un’abitudine visibile, come transizioni ripetute o trattini lunghi. Eliminare una sola abitudine può non cambiare nulla, mentre modifiche ordinarie altrove possono spostare il risultato. Per questo le liste di presunte «parole da IA» sono spiegazioni scadenti di un classificatore e pessimi consigli di revisione.

Gli aggiornamenti dei modelli introducono uno spostamento di distribuzione in entrambe le direzioni. Un rilevatore addestrato a separare temi umani del 2023 da output di modelli del 2023 può poi trovarsi di fronte a modelli successivi, nuovi strumenti di parafrasi e pratiche di scrittura umana che cambiano. Una ricalibrazione può migliorare un genere e peggiorarne un altro. La performance attuale va quindi misurata su output attuali e su scrittura umana tenuta da parte, non dedotta da un benchmark di lancio o dal nome dell’architettura.

Non molto sulla tecnica di scrittura, e parecchio su quanto peso meriti un numero.

Un punteggio è l’output di un classificatore su proprietà del testo, addestrato e calibrato su una distribuzione particolare. A seconda del fornitore, la percentuale mostrata può descrivere la quota di testo idoneo classificata in una categoria, anziché la probabilità che l’autore abbia usato una IA. È una prova di come quel sistema ha etichettato quel documento, non una prova diretta su una persona.

• Controlla il denominatore. Il numero è la confidenza della frase, la confidenza del documento o la proporzione di prosa idonea? Sono grandezze diverse.
• Controlla le condizioni d’uso. Lingua, lunghezza minima, tipo di file supportato e materiale escluso possono determinare che cosa il modello ha valutato.
• Controlla versione e data. Un aggiornamento del fornitore può cambiare le classificazioni senza che la prosa cambi.
• Controlla la regola di decisione. Chiedi se l’istituzione usa il risultato per uno smistamento, per un colloquio o per un accertamento formale, e quali riscontri servono.

Per chi scrive, il consiglio che resta valido è la normale pratica d’autore: conserva le bozze, verifica le fonti, tieni traccia del tuo ragionamento e revisiona per il lettore a cui ti rivolgi. Cercare di ottimizzare un classificatore nascosto sostituisce questi obiettivi con un bersaglio instabile.

Per chi decide, la calibrazione conta quanto l’ordinamento. Un classificatore può collocare i passaggi generati sopra quelli umani con una certa precisione e attribuire comunque percentuali che non corrispondono a probabilità reali. Prima di usare un punteggio in modo operativo, chiedi che cosa indica la percentuale, come è stata calibrata, su quale popolazione e come cambia la performance alla soglia scelta. Senza queste risposte, i decimali aggiungono precisione al display, non certezza alla conclusione.

Se vuoi vedere esplicitate le conseguenze — cosa succede quando fornitori diversi analizzano lo stesso paragrafo — leggi perché lo stesso testo ottiene punteggi diversi su ogni rilevatore. Se invece hai già un report davanti, come leggere un report di scrittura IA di Turnitin spiega che cosa misura quel numero.