Gli studenti scrivono peggio per evitare il rilevamento dell’IA. E si ritorce contro di loro.

Un post nella community Reddit r/Professors ha raccolto di recente 690 upvotes e la discussione che ha acceso rivela una tendenza che ci preoccupa. Gli studenti scrivono peggio di proposito, semplificano il vocabolario, accorciano le frasi e tolgono struttura ai loro elaborati, tutto per evitare di far scattare gli strumenti di rilevamento dell’IA.

L’ironia è evidente. Secondo la stessa documentazione di Turnitin, il testo più facile da segnalare erroneamente come generato dall’IA è quello con scarsa variabilità strutturale, con ripetizioni e con riformulazioni prive di nuove idee. In altre parole: lo stile che gli studenti adottano per «sembrare meno IA» è lo stesso stile con cui il rilevatore ammette di trovarsi in difficoltà. Scrivere peggio non ti aiuta a evitare il rilevamento. Fa sì che il tuo testo corrisponda al profilo di ciò che viene segnalato per errore. La versione più ampia della domanda, se dovresti cambiare il tuo modo di scrivere per evitare di essere segnalato, riceve la stessa risposta per lo stesso motivo.

La pagina FAQ di Turnitin sul rilevamento della scrittura IA è insolitamente schietta su dove lo strumento produce falsi positivi. La documentazione afferma: «Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A volte i falsi positivi — segnalare erroneamente come generato dall’IA un testo scritto da un essere umano — possono riguardare contenuti con poca variabilità strutturale, testi che si ripetono letteralmente o testi riformulati senza sviluppare nuove idee.) La frase successiva aggiunge: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in un testo di questo tipo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.) (fonte)

Leggi insieme queste due frasi e il problema diventa chiaro. Le caratteristiche che innescano i falsi positivi sono le stesse che gli studenti introducono quando semplificano deliberatamente la propria scrittura. Meno variabilità strutturale? È quello che succede quando appiattisci i tuoi schemi di frase. Un testo che si ripete? È quello che succede quando eviti formulazioni variate. Riformulare senza sviluppare nuove idee? È quello che succede quando togli l’analisi per mantenere tutto semplice.

La strategia si autodistrugge. Gli studenti che scrivono peggio per evitare i flag IA stanno avvicinando il loro testo al profilo dei falsi positivi, non allontanandolo.

Tra gli studenti è diffusa la convinzione che i rilevatori di IA segnalino i testi «complessi» o «curati». La logica è questa: se l’IA scrive in modo sofisticato, scrivere in modo meno sofisticato dovrebbe evitare il rilevamento. Questa convinzione non regge di fronte a ciò che Turnitin dice davvero del proprio modello.

Le FAQ di Turnitin affermano: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness,' 'perplexity,' o altre singole metriche a volte citate nelle discussioni pubbliche.) La frase successiva spiega: «Instead, it learns statistical patterns from our training data.» (Impara invece schemi statistici dai nostri dati di addestramento.) (fonte)

Questo è importante, ma non significa che il modello ignori la probabilità delle parole. Nella stessa pagina Turnitin afferma: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità tipiche degli autori umani.) (fonte)

Metti insieme queste due affermazioni e il quadro cambia. Il modello non esegue un semplice controllo del tipo «parole complesse uguale IA». Impara schemi statistici dai dati di addestramento ed è addestrato specificamente sulle differenze di probabilità delle parole. Semplificare deliberatamente il vocabolario o appiattire la struttura delle frasi non inganna un riconoscimento di schemi. Cambia gli schemi nel tuo testo, e non necessariamente in una direzione che ti aiuta.

Il rapporto tra qualità della scrittura e punteggi IA è più complesso della formula «semplice uguale umano, complesso uguale IA». Gli studenti che cercano di sfruttare questo rapporto scrivendo peggio partono da un modello di rilevamento che la documentazione non avvalora. Cosa misurano i rilevatori di IA oltre a perplexity e burstiness è l’approfondimento su ciò a cui questi modelli rispondono davvero.

Ecco qualcosa che in queste discussioni non vediamo quasi mai citare: la stessa documentazione di Turnitin dice che il punteggio IA non va trattato come un verdetto. Gli studenti che vanno nel panico per i flag IA potrebbero non sapere che è il fornitore stesso a raccomandare prudenza.

La guida all’AI Writing Report afferma: «Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.» (Il nostro modello di rilevamento della scrittura IA potrebbe non essere sempre accurato — può identificare male testi scritti da esseri umani, generati dall’IA e riformulati dall’IA —, quindi non dovrebbe essere usato come unica base per provvedimenti sfavorevoli a uno studente.) La frase successiva continua: «It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.» (Servono ulteriori verifiche e giudizio umano, insieme all’applicazione da parte dell’istituzione delle sue specifiche regole accademiche, per stabilire se vi sia stata una violazione accademica.) (fonte)

Una guida separata per i docenti rafforza questa impostazione: «It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.» (Non è pensato per fornire risposte definitive in isolamento. Più importante di qualsiasi strumento c’è il docente che vede il punteggio e prende decisioni bilanciando questa informazione con la conoscenza personale che ha dei propri studenti, del loro lavoro e delle regole dell’istituzione.) La frase successiva aggiunge: «When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.» (Quando i docenti guardano il punteggio di scrittura IA e lo usano come un singolo dato anziché come una risposta definitiva, allora viene usato come previsto.) (fonte)

Il punteggio è un elemento in ingresso, non un verdetto. Gli studenti non hanno bisogno di peggiorare la propria scrittura per proteggersi da uno strumento che, secondo il fornitore, non dovrebbe mai essere l’unica base per provvedimenti sfavorevoli.

Il danno di questa strategia va oltre i punteggi IA. Quando gli studenti semplificano deliberatamente la scrittura, danneggiano i propri voti. Gli elaborati senza variabilità strutturale, senza analisi e senza vocabolario variato sono elaborati più deboli. I docenti valutano la qualità, non i punteggi IA, e un elaborato volutamente peggiorato risulterà un lavoro più debole a chiunque lo legga con attenzione.

E il danno si accumula nel tempo. Scrivere è un’abilità che si sviluppa con la pratica. Quando gli studenti si allenano a scrivere peggio, stanno esercitando le abilità sbagliate. Si abituano ad appiattire la propria prosa, a evitare la complessità e a produrre testi che si ripetono senza sviluppare idee. Queste abitudini si trascinano nei compiti futuri, nelle candidature di lavoro e nella comunicazione professionale.

Soppesa il compromesso. Da una parte: una strategia che non funziona, basata su una comprensione sbagliata di come opera il rilevatore, usata per evitare un punteggio che la documentazione dice non debba essere un verdetto. Dall’altra: voti più bassi, capacità di scrittura in calo e abitudini che restano ben oltre la consegna del compito. Il costo di scrivere peggio è reale. Il beneficio no.

Se sei uno studente preoccupato per il rilevamento dell’IA, la documentazione ti offre un quadro migliore dell’autosabotaggio. Scrivi il tuo lavoro migliore. Comprendi che il punteggio IA è un singolo dato, non una risposta definitiva. Sappi che le stesse linee guida di Turnitin dicono che il punteggio non deve essere l’unica base per provvedimenti sfavorevoli. Se temi un falso positivo, parlane con il tuo docente; segnalato, ma l’hai scritto tu spiega come prepararsi a quella conversazione. La documentazione prevede questo scenario e ha inserito il giudizio umano proprio per questo.

La tendenza a scrivere peggio per evitare il rilevamento dell’IA nasce da una comprensione sbagliata di ciò a cui il rilevatore risponde e di ciò che il punteggio significa. La documentazione non sostiene questa strategia. Il modello non funziona come gli studenti suppongono. E il punteggio non è mai stato pensato come un verdetto. Scrivere peggio sacrifica i voti e le capacità in cambio di una protezione che non serve e di una strategia che probabilmente si ritorce contro.