Cosa significa l'asterisco (\*%) in un punteggio di IA Turnitin?

L'asterisco significa che il rilevatore di Turnitin ha trovato IA nella fascia tra 1% e 19% e non ti sta mostrando né il numero né le evidenziazioni. La ragione, nelle parole di Turnitin, è che i punteggi in quella fascia portano un rischio più alto di falsi positivi. Quindi il report non sta dicendo «nulla rilevato» e non sta dicendo «zero». Sta dicendo: è stato trovato qualcosa e non te lo mostreremo. Questo ha una conseguenza concreta per chiunque cerchi di leggere o rivedere rispetto a un risultato in quella fascia, perché le due cose che servirebbero per agire su un punteggio sono entrambe assenti. Il numero è assente, e i passaggi evidenziati sono assenti.

Ecco la risposta completa dalle FAQ sulle capacità di rilevamento della scrittura con IA di Turnitin:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Per evitare potenziali casi di falsi positivi, non vengono attribuiti punteggio né evidenziazioni per i punteggi di rilevamento IA nella fascia tra 1% e 19%. Quando l'IA viene rilevata sotto la soglia del 20% nel report, ora è indicata con un asterisco (*%) e non viene attribuita alcuna percentuale.)

In quella frase sono impacchettate tre cose, e la seconda di solito viene saltata.

Primo, l'asterisco non è un segnaposto per zero. Copre tutto da 1% a 19%. Un report che mostra un asterisco ha dietro un risultato non nullo, e il report ha deciso di non far emergere quale numero non nullo sia.

Secondo, la ragione sono i falsi positivi. La regola esiste perché Turnitin ritiene che i punteggi in quella fascia siano più probabilmente errati, dove «errati» significa segnalare testo scritto da una persona come IA. La frase due paragrafi prima di questa nelle FAQ usa l'espressione "incorrectly flagging human-written text as AI-generated" (segnalare erroneamente testo scritto da una persona come generato da IA) per descrivere cosa sia un falso positivo, e la regola dell'asterisco è la risposta diretta a quel rischio.

Terzo, la soglia è 20%. Venti è dove il report ricomincia a comportarsi come una misurazione. Sotto i venti si comporta come un interruttore con una posizione per zero e una per tutto il resto. L'asterisco è uno dei quattro stati di indicatore che il report può mostrare; è l'unico che dice che è stato trovato qualcosa senza rivelarlo.

L'asterisco rimuove due tipi di informazione, e il secondo riceve meno attenzione di quanta ne meriti.

Il numero se ne va. Lo nota tutti. La percentuale che sarebbe stata tra 1% e 19% viene sostituita da un simbolo, e non c'è modo di leggere la cifra reale dal report.

Anche le evidenziazioni se ne vanno. Con un punteggio del 20% o più, il report segna i passaggi che ritiene scritti da IA e tu puoi andarli a vedere. Con un asterisco, non c'è nulla da vedere. Nessun passaggio è segnato. Nessuna localizzazione a livello di frase è data. Il report ha un risultato che non ti mostra e non ti mostra nemmeno da dove proviene.

Porta questo fino a una revisione. Supponiamo che una versione precedente del documento sia tornata al 17% e quella attuale al 3%. Entrambi i report mostrano un asterisco. Stesso simbolo, stessa assenza di evidenziazioni, stesso tutto a schermo. Il lavoro è stato fatto. L'interfaccia non ha vocabolario per riportarlo. Chi ti dice che un report attuale è passato «dal 15% al 4%» sta fornendo due cifre che il report non ha fatto emergere. Non è una lettura del report; è un'affermazione su cosa c'è dietro.

Ecco perché anche confrontare due asterischi non è un confronto. Due report con lo stesso simbolo possono avere risultati sottostanti diversi, e nessuno ti dice se è così. Se devi confrontare due versioni di un documento, i report che si possono confrontare sono quelli al 20% e sopra, dove numero ed evidenziazioni sono entrambi visibili. Abbiamo percorso in come leggere un report di scrittura con IA Turnitin che aspetto ha un confronto leggibile.

La regola dell'asterisco riguarda la visualizzazione. Esiste una caratteristica separata del modello che rende la fascia dietro l'asterisco meno prevedibile di quanto lo sarebbe stato il numero che sostituisce, e si colloca sullo stesso confine.

Dalle FAQ, sui documenti brevi:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Nei documenti più brevi in cui ci sono solo poche centinaia di parole, la previsione sarà per lo più «tutto o niente» perché prevediamo su un singolo segmento senza possibilità di sovrapposizione.)

La frase seguente:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che un testo che è un misto di contenuto generato da IA e originale potrebbe essere segnalato come interamente generato da IA.)

Un documento breve con contenuto misto può dunque ottenere un risultato che sembra una cosa quando la situazione sottostante è un'altra. Se il punteggio riportato su un tale documento fosse stato, diciamo, 14%, il quadro reale potrebbe essere più complicato di quanto suggerisse il 14%. L'asterisco nasconde quel 14% e, così facendo, nasconde anche il fatto che quel 14% stesso era una previsione tutto-o-niente su un singolo segmento.

Nulla di ciò è un'affermazione sulla mancanza. È un'affermazione su ciò che lo strumento può e non può dirti nella fascia che si rifiuta di mostrare. La conseguenza per il lettore è che un asterisco su un documento breve è lo stato meno informativo in cui il report possa trovarsi pur dicendo che qualcosa è successo. E l'unica cosa che il report dice, la dice senza contesto.

Un'altra cosa che l'asterisco nasconde è la dimensione del denominatore dietro, e quel denominatore è più stretto del file.

Turnitin dice di analizzare solo testo idoneo, che le FAQ definiscono come:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Questo testo idoneo comprende solo frasi in prosa, il che significa che analizziamo solo blocchi di testo scritti in frasi grammaticali standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.)

La frase seguente:

"This percentage is not necessarily the percentage of the entire submission." (Questa percentuale non è necessariamente la percentuale dell'intera consegna.)

Un documento costruito soprattutto da elenchi, tabelle e una bibliografia lasciava al modello pochissima prosa da valutare. L'asterisco su un tale file si posa su un denominatore già più piccolo di quanto il documento appaia. Se la cifra nascosta era 8%, quell'8% era 8% di prosa idonea, e la prosa idonea poteva essere metà del file.

Questo conta per due ragioni. La percentuale che il report non ti mostra non è quella che indovineresti leggendo il documento. E le evidenziazioni che il report non ti dà sarebbero state l'unico modo per scoprire cosa contava. Senza le evidenziazioni, anche il denominatore su cui l'asterisco è stato calcolato è invisibile. Hai un simbolo che sta per un numero che sta per una frazione di qualcosa che non puoi misurare dall'esterno.

La regola dell'asterisco è una decisione di visualizzazione, ma poggia su una scelta di progetto più profonda che va nella stessa direzione. Ecco Turnitin su quella scelta:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Al fine di mantenere questo basso tasso dell'1% di falsi positivi, c'è la possibilità che ci sfugga del testo scritto da IA in un documento. Ci stiamo perché non vogliamo evidenziare erroneamente testo scritto da una persona come scritto da IA. Ad esempio, se identifichiamo che il 50% di un documento è probabilmente scritto da uno strumento di IA, potrebbe contenere fino al 65% di scrittura da IA.)

Leggi questo accanto alla regola dell'asterisco. Il modello propende per cogliere meno piuttosto che segnalare troppo. La regola di visualizzazione prende la fascia in cui i due errori sono più difficili da separare e si rifiuta di metterci un numero. È la stessa direzione. Uno strumento che preferirebbe mancare testo di IA piuttosto che segnalare testo umano è anche uno strumento che preferirebbe mostrare un asterisco piuttosto che un 7% che non può sostenere.

Il tasso di falsi positivi che Turnitin pubblica è specifico sulla portata. Dalle stesse FAQ:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Ci sforziamo di massimizzare l'efficacia del nostro rilevatore mantenendo il nostro tasso di falsi positivi — identificare erroneamente testo interamente scritto da una persona come generato da IA — sotto l'1% per documenti con più del 20% di scrittura da IA.)

La frase seguente:

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (In altre parole, potremmo segnalare un documento scritto da una persona come scritto da IA per uno su ogni 100 documenti interamente scritti da persone.)

La proposizione alla fine della prima frase è quella che collega all'asterisco. L'obiettivo di sotto l'1% è dichiarato per documenti con più del 20% di scrittura da IA. Sotto quella soglia l'obiettivo non è dato come numero, ed è la regola di visualizzazione a rispondere: il report semplicemente non fa emergere punteggi che non può sostenere. Il confine del 20% nella regola dell'asterisco e il confine del 20% nell'obiettivo dei falsi positivi sono la stessa linea.

Un asterisco è un risultato che non è vuoto e non è un numero e non ti lascia un passaggio da ispezionare. Ciò restringe ciò che se ne può fare direttamente, ma non lascia sul nulla.

• Non trattarlo come zero. Il report ha trovato qualcosa. Trattiene la cifra, non la nega. Se ti si chiede di un asterisco, la domanda è cosa è stato trovato, non se qualcosa è stato trovato.
• Chiedi la data di generazione. I report sono prodotti secondo le regole in vigore al momento della generazione, e una schermata di un asterisco senza data non ti dice nulla su quale regola lo abbia prodotto. Vale lo stesso per gli altri stati del report: il file è un'istantanea, non una lettura in diretta.
• Chiedi cos'altro c'è nel report. Turnitin dice che l'indicatore e il report di rilevamento della scrittura con IA non sono visibili agli studenti e che un docente deve scaricare e condividere il PDF. L'asterisco è una voce di un documento che contiene anche il punteggio Similarity, le informazioni sul file e le note di elaborazione. Leggere il resto può chiarire se ciò che vedi è attuale e di quale report si tratti.
• Non cercare di confrontare due asterischi. I report che si possono confrontare sono quelli al 20% e sopra, dove sia il numero sia le evidenziazioni sono visibili. Due asterischi possono rappresentare cifre sottostanti diverse e nessuno dei report ti dirà se è così.

Se un report torna al 20% o più, quella è la fascia in cui il report ti dà qualcosa su cui agire: una cifra e passaggi evidenziati. Una riscrittura guidata dal report importa quei passaggi come suo perimetro, e solo quei passaggi vengono toccati. Se un report successivo segnala ancora dei passaggi, quelli possono essere ripassati senza costo. Sotto il 20% non ci sono evidenziazioni da importare, quindi la domanda non si pone.

Nulla di ciò è una previsione. Turnitin non ha mai detto come una data modifica dovrebbe muovere un punteggio, e la regola dell'asterisco significa che sotto il 20% nessuno potrebbe verificare un'affermazione del genere. Ciò che una riscrittura guidata dal report decide è quali parole vengono toccate e quali restano esattamente come sono state scritte.

L'asterisco significa che il mio punteggio è zero? No. L'asterisco copre la fascia da 1% a 19%. Turnitin dice "no score or highlights are attributed for AI detection scores in the 1% to 19% range" (non vengono attribuiti punteggio né evidenziazioni per i punteggi di rilevamento IA nella fascia da 1% a 19%) e che i punteggi in quella fascia "are now indicated with an asterisk (*%) and no percentage is attributed" (ora sono indicati con un asterisco (*%) e non viene attribuita alcuna percentuale). Zero è uno stato separato con il suo indicatore. L'asterisco significa che è stato trovato qualcosa e che il numero viene trattenuto.

Perché Turnitin mostra un asterisco invece di un numero? Per evitare falsi positivi. Le FAQ di Turnitin dicono "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (Per evitare potenziali casi di falsi positivi, non vengono attribuiti punteggio né evidenziazioni per i punteggi di rilevamento IA nella fascia da 1% a 19%.) I punteggi in quella fascia portano un rischio più alto di falsi positivi, quindi il report si rifiuta di farli emergere.

Posso scoprire il numero reale dietro l'asterisco? Non dal report. Numero ed evidenziazioni sono entrambi trattenuti in quella fascia. Non c'è modo di leggere la cifra sottostante da un report attuale che mostra un asterisco.

Posso confrontare due report che mostrano entrambi un asterisco? Non in modo significativo. Due asterischi possono avere punteggi sottostanti diversi e nessuno dei report ti dice se è così. I report che si possono confrontare sono quelli al 20% e sopra, dove numero ed evidenziazioni sono entrambi visibili.

L'asterisco significa che il report è rotto? No. È una regola di visualizzazione, non un errore. Un doppio trattino grigio separato significa che il file non ha potuto essere elaborato, e un punto esclamativo significa che l'elaborazione è fallita. L'asterisco significa che l'elaborazione è riuscita ed è stato trovato qualcosa, e che il risultato viene trattenuto.

20% è il confine dove l'asterisco si ferma? Sì. Al 20% e sopra il report mostra un numero e passaggi evidenziati. Sotto il 20%, l'unico numero esatto che il report fa emergere è 0%. Tutto tra 1% e 19% è l'asterisco. Abbiamo trattato cosa significa 20% come confine in 20% di IA è troppo alto?.