Perché lo stesso testo riceve un punteggio diverso su ogni rilevatore

Il dato pubblicato più chiaro arriva dallo studio di Stanford sugli scrittori non madrelingua, citato di solito per il suo tasso di falsi positivi da titolo. Guardate invece le due cifre che stanno sotto.

• 89 temi su 91 (97,80%) sono stati segnalati come IA da almeno uno dei sette rilevatori.
• 18 su 91 (19,78%) lo sono stati da tutti e sette.

Restano così 71 temi — quattro su cinque dell’intero corpus — per i quali le sette decisioni binarie non sono state unanimi. I conteggi pubblicati dimostrano un disaccordo sulla classificazione, anche se non ci dicono quanto fossero distanti i punteggi sottostanti nei singoli casi.

Per questi temi, lo strumento scelto da un ateneo poteva decidere se comparisse o meno una segnalazione. È un problema di dipendenza dal prodotto, non la prova che un rilevatore in particolare sbagliasse sempre.

La data conta. Lo studio ha fotografato sette prodotti all’inizio del 2023 e diversi hanno poi cambiato modelli, soglie o interfacce di reportistica. Non va usato come una classifica aggiornata. Il suo risultato duraturo è metodologico: gli output dei rilevatori non sono interscambiabili, quindi il punteggio di un fornitore non può confermare né annullare quello di un altro senza un confronto nuovo e controllato.

Anche una seconda analisi con lo stesso fornitore può dare un esito diverso se il servizio è stato aggiornato in silenzio, se l’account ha funzioni diverse attive o se il documento è stato analizzato in un altro modo. La riproducibilità richiede quindi qualcosa in più che conservare la prosa: tenete il file originale, il report, la data, il livello di prodotto, l’impostazione della lingua e, se disponibile, la versione del modello. Uno screenshot con una sola percentuale, senza questo contesto, è difficile da verificare in seguito.

Perché non sono implementazioni di un’unica misurazione. Sono prodotti diversi.

• Modelli di fondo diversi. Un rilevatore che misura la perplexity rispetto a GPT-2 e uno che usa un classificatore di deep learning addestrato appositamente pongono alla stessa frase domande diverse.
• Architetture diverse nel tempo. GPTZero ha abbandonato perplexity e burstiness nell’autunno 2023; altri non l’hanno fatto. Un confronto fra fornitori è in parte un confronto fra generazioni di metodo.
• Distribuzioni di addestramento diverse. Ciò che conta come scrittura umana normale dipende da quali testi il classificatore ha visto. È il meccanismo che sta dietro al pregiudizio verso chi scrive in inglese come seconda lingua, e varia da fornitore a fornitore.
• Soglie e regole di presentazione diverse. Oggi Turnitin non mostra i punteggi numerici dall’1 al 19%; altri riportano una cifra a ogni livello. Lo stesso segnale di fondo può essere presentato in modo diverso ancor prima che lo vediate.
• Unità di misura diverse. Una percentuale può indicare la confidenza sul documento, un’altra la quota di frasi etichettate come IA, un’altra ancora la quota di prosa effettivamente valutata. Numeri che sembrano uguali non devono per forza rispondere alla stessa domanda.
• Preelaborazione diversa. Gli strumenti possono rimuovere i riferimenti bibliografici, ignorare gli elenchi puntati, dividere le frasi in modo diverso o troncare i documenti lunghi. Possono quindi valutare un testo diverso pur sembrando ricevere lo stesso file.

La lunghezza accentua queste differenze. Un rilevatore che richiede diverse centinaia di parole può sfruttare schemi a livello di documento; uno strumento via browser che accetta un solo paragrafo si affida piuttosto a caratteristiche locali. Anche la lingua conta: non si può dare per scontato che un modello calibrato sull’inglese si comporti allo stesso modo su passi tradotti o su una bibliografia bilingue.

Le definizioni degli stessi fornitori spiegano perché percentuali apparentemente identiche non si possano confrontare finché non si conosce l’unità di misura. Verificato il 28 agosto 2026:

Turnitin comunica quindi una quota di un sottoinsieme idoneo del documento, mentre gli altri tre esempi comunicano la confidenza attorno a un’etichetta di classe. Lo stesso simbolo, la percentuale, svolge lavori matematici diversi. Tradurre il numero di un fornitore nella scala di un altro non è un secondo parere: cambia la domanda.

Le stesse pagine pubbliche di GPTZero rendono visibile il problema dell’unità di misura senza bisogno di confrontare due aziende. La documentazione della sua API e la pagina del rilevatore web descrivono due output diversi, entrambi con il simbolo della percentuale. Verificato il 28 agosto 2026:

Possono essere campi di output separati, non una contraddizione. La regola pratica è indicare la superficie del prodotto e il campo. Una frase nuda come «GPTZero ha restituito 30%» non dice quale grandezza rappresenti quel numero.

Lo stesso disallineamento di unità compare in due descrizioni attuali di fornitori cinesi. Le frasi citate sotto sono state verificate il 28 agosto 2026.

Queste affermazioni associano lo stesso simbolo visivo a grandezze diverse: la probabilità di presenza da una parte, la quota di testo sospetto dall’altra. Un valore del 30% preso da una pagina non può essere affiancato al 30% dell’altra senza prima cambiare unità di misura, e nessuna delle due pagine pubblica una regola di conversione.

C’è un’altra piega quando si confrontano i punteggi. In un benchmark alcuni output dei rilevatori si addensano vicino a 0 o a 1, mentre altri occupano più spazio sulla scala. Questo non significa necessariamente che il modello sottostante non abbia un punteggio continuo: soglie, arrotondamenti e interfaccia possono far sembrare binario un segnale continuo.

HumanizerBench, che fa girare cinque rilevatori commerciali su ogni campione, usa la mediana invece della media esattamente per questo motivo: quando nel gruppo ci sono rilevatori che binarizzano, un solo valore anomalo sposta la media fino a 0,25. La sua pagina di metodologia lo dice apertamente.

Una media su questi output è matematicamente possibile, ma la sua interpretazione non è chiara quando gli input usano unità di misura e calibrazioni diverse. Una mediana riduce l’influenza di un valore estremo; non rivela la verità di fondo né rende indipendenti i rilevatori che la compongono. HumanizerBench è un benchmark di prodotto pubblicato, non uno studio di validazione istituzionale: la sua scelta di aggregazione va letta in quest’ottica.

Il voto di maggioranza ha un limite simile. Cinque strumenti correlati, addestrati su corpora che si sovrappongono, non sono cinque testimoni indipendenti. L’accordo può riflettere punti ciechi condivisi, mentre il disaccordo può non essere altro che soglie diverse. Senza set di test etichettati, con testi umani e generati che corrispondano alla popolazione di riferimento, non c’è modo rigoroso di trasformare quei voti in una probabilità di paternità.

Ne seguono quattro cose, nessuna delle quali riguarda la tecnica di scrittura.

• Se c’è un procedimento istituzionale in corso, individuate il report effettivamente usato. Consultare un altro fornitore vi dice che cosa pensa quel fornitore; non può riprodurre lo strumento, le impostazioni o la versione dell’ateneo.
• Un secondo parere che vi scagiona non è un’assoluzione, e uno che vi segnala non è una prova. Entrambi sono l’output di un solo classificatore su un testo le cui proprietà diversi altri classificatori leggono in modo diverso.
• Chiedete a cosa serve il punteggio. Turnitin dichiara che il suo modello può identificare male un testo e che non deve essere l’unica base per provvedimenti sfavorevoli. Il risultato di un rilevatore è un elemento per la revisione, non un accertamento di cattiva condotta.
• Se confrontate gli strumenti per una ricerca, tenete ferme le condizioni. Usate la stessa versione, l’input completo, la stessa lingua, la stessa data e lo stesso corpus etichettato; registrate anche i fallimenti e il testo escluso, non solo il numero visualizzato.

In un ricorso, gli screenshot contrapposti di solito aggiungono solo rumore. Le prove di processo — bozze, appunti, annotazioni delle fonti, cronologia delle revisioni e capacità di spiegare le proprie scelte — dicono molto più direttamente chi è l’autore rispetto a un ulteriore classificatore opaco. Per chi insegna, il disaccordo è una ragione per progettare una procedura di riscontro prima che arrivi un caso difficile, non dopo.

Per l’acquisto, confrontate l’errore per sottogruppo e per genere testuale invece di chiedere quale fornitore dichiari l’accuratezza complessiva più alta. Richiedete una politica di aggiornamento documentata, una traccia di audit delle versioni dei report, regole chiare sul testo idoneo e un export a cui gli studenti possano rispondere in modo significativo. Il disaccordo diventa meno pericoloso quando l’istituzione sa esattamente che cosa apporta lo strumento e ha definito quali prove possono prevalere su di esso.

Su che cosa misuri quel numero, prima di tutto, vedi che cosa misurano realmente i rilevatori di IA.