Scritto con l'aiuto dell'IA o generato dall'IA: come li tratta Turnitin

Il rilevamento dell'IA di Turnitin non segue il tuo processo di scrittura. Non sa se hai scritto a mano, dettato o usato uno strumento in qualche fase. Valuta il testo che consegni.

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.» (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento dell'IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall'IA.)

Il modello estrae le frasi dal documento finito, le suddivide in sezioni e assegna un punteggio a ciascuna. Non ha accesso alla cronologia delle versioni, ai tempi di modifica o ai registri di utilizzo degli strumenti, ed è proprio per questo che conviene tenere quella documentazione dalla tua parte, come spiega come dimostrare di non aver usato l'IA. Lavora su ciò che c'è sulla pagina al momento della consegna.

Questo significa che la differenza tra «l'ho scritto io con un aiuto» e «me lo ha generato qualcun altro» non è qualcosa che il modello può osservare direttamente. Classifica il testo in base a regolarità statistiche nel risultato finale.

Anche l'ambito di ciò che viene analizzato è preciso: «This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.» (Questo testo idoneo comprende solo frasi in prosa, il che significa che analizziamo esclusivamente blocchi di testo scritti in frasi grammaticalmente standard e non includiamo altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.) E inoltre: «This percentage is not necessarily the percentage of the entire submission.» (Questa percentuale non è necessariamente la percentuale dell'intera consegna.)

Molti studenti usano Grammarly o strumenti simili per correggere ortografia e grammatica. La questione è se queste correzioni facciano segnalare il testo come generato dall'IA. La documentazione di Turnitin lo affronta direttamente.

«Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector.» (Il nostro rilevatore non è tarato per colpire le modifiche di ortografia, grammatica e punteggiatura generate da Grammarly, bensì altri contenuti IA scritti da LLM come GPT-3.5. Sulla base dei test che abbiamo condotto su documenti scritti da esseri umani senza contenuti generati dall'IA, nella maggior parte dei casi le modifiche apportate da Grammarly (gratuito e premium) e/o da altri strumenti di controllo grammaticale non sono state segnalate come scritte dall'IA dal nostro rilevatore.)

La frase chiave è «in most cases.» (nella maggior parte dei casi). Il rilevatore non è tarato per individuare le correzioni di ortografia e grammatica. Nella maggior parte dei casi, un testo scritto da una persona e poi sistemato con Grammarly non viene segnalato. Questo vale sia per la versione gratuita sia per quella premium di Grammarly, e anche per altri strumenti di controllo grammaticale. Turnitin rileva Grammarly come scrittura IA? esamina la formulazione del fornitore riga per riga.

Questo non significa che un testo corretto grammaticalmente sia invisibile al rilevatore. Significa che il rilevatore non è progettato per identificare quel tipo specifico di modifica. La prosa finita viene comunque analizzata alla ricerca di regolarità statistiche tipiche dell'IA. Ma il solo fatto di far passare Grammarly per ortografia e grammatica non provoca, nella maggior parte dei casi, una segnalazione di per sé.

La documentazione traccia una linea netta tra le funzioni di correzione di Grammarly e le sue funzioni generative. L'esclusione non si estende ai contenuti prodotti da strumenti di IA generativa.

«Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.» (Tieni presente che questo esclude i contenuti generati dalle funzioni di IA generativa di Grammarly, tra cui la generazione di bozze, la parafrasi, il riassunto e altre funzioni. I contenuti prodotti con queste funzioni verranno probabilmente segnalati come generati dall'IA dal nostro rilevatore.)

Quindi ci sono due categorie. Da una parte: le correzioni di ortografia, grammatica e punteggiatura. Non sono cercate dal rilevatore e, nella maggior parte dei casi, non vengono segnalate. Dall'altra: la generazione di bozze, la parafrasi, il riassunto e le altre funzioni generative. I contenuti prodotti con queste funzioni verranno probabilmente segnalati come generati dall'IA.

La distinzione conta. Se hai usato Grammarly per correggere refusi e stringere la grammatica, il rilevatore non è tarato per individuarlo. Se hai usato Grammarly per generare una bozza, parafrasare un passaggio o riassumere una fonte, quel risultato viene trattato come qualsiasi altro contenuto generato dall'IA e verrà probabilmente segnalato.

Questa linea si basa su ciò che le funzioni producono, non sulla marca. Una funzione generativa di qualsiasi strumento, non solo di Grammarly, sta dalla parte del «will likely be flagged» (verrà probabilmente segnalato). Una correzione ortografica o grammaticale di qualsiasi strumento sta dalla parte del «not tuned to target» (non tarato per colpirla). Da quale parte ti trovi decide anche cosa devi dichiarare, come spiega se far passare il documento in uno strumento di riscrittura cambia ciò che devi dichiarare.

Anche quando non c'è stata alcuna IA, certi tipi di prosa scritta da esseri umani possono provocare falsi positivi. La documentazione elenca schemi precisi da tenere d'occhio.

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A volte i falsi positivi (segnalare per errore come generato dall'IA un testo scritto da un essere umano) possono riguardare contenuti con poca varietà strutturale, testi che si ripetono letteralmente o testi parafrasati senza sviluppare idee nuove.)

«If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in questo tipo di testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Quindi, se il tuo testo è strutturalmente piatto, ripete le stesse formulazioni o parafrasa senza aggiungere idee nuove, il modello può segnalarlo anche se è interamente scritto da una persona. Questo è importante per la distinzione tra assistita e generata, perché uno studente che scrive il proprio testo ma parafrasa molto può ricevere una segnalazione che non ha nulla a che fare con l'uso di uno strumento. Ho parafrasato un testo IA con un'altra IA e Turnitin lo ha segnalato comunque è l'altro estremo dello stesso effetto.

La documentazione di Turnitin dice esplicitamente che il punteggio del rilevamento IA non va trattato come prova definitiva di scorrettezza.

«Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.» (Il nostro modello di rilevamento della scrittura IA potrebbe non essere sempre accurato (può identificare male testi scritti da esseri umani, generati dall'IA o parafrasati dall'IA), quindi non dovrebbe essere usato come unica base per provvedimenti sfavorevoli nei confronti di uno studente.)

«It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.» (Servono un ulteriore esame e un giudizio umano, insieme all'applicazione da parte dell'istituzione delle sue specifiche politiche accademiche, per stabilire se vi sia stata una scorrettezza accademica.)

Il punteggio è un'informazione tra le altre. Richiede un ulteriore esame e un giudizio umano, applicati nel contesto delle specifiche politiche accademiche dell'istituzione. Il modello può sbagliare in entrambe le direzioni: segnalare come IA un testo umano oppure non individuare affatto un testo IA. Trattare la percentuale come base unica significherebbe ignorare le indicazioni della stessa documentazione. Se sei tu ad avere in mano il rapporto con la segnalazione, segnalato, ma l'hai scritto tu spiega come presentarlo a chi valuta.

Se vuoi capire come Turnitin tratta la scrittura assistita dall'IA rispetto a quella generata dall'IA, ecco il riassunto:

• Il modello vede il testo finito. Non segue il tuo processo di scrittura. Suddivide in sezioni e valuta le frasi in prosa del documento consegnato.
• Le correzioni di ortografia e grammatica sono diverse. Il rilevatore non è tarato per colpire le correzioni di ortografia, grammatica e punteggiatura in stile Grammarly. Nella maggior parte dei casi non vengono segnalate.
• Le funzioni generative verranno probabilmente segnalate. I contenuti della generazione di bozze, della parafrasi, del riassunto e delle altre funzioni generative di Grammarly sono trattati come generati dall'IA e verranno probabilmente segnalati.
• I falsi positivi esistono. Una prosa strutturalmente piatta, ripetitiva o parafrasata ha più probabilità di essere segnalata, anche senza alcun uso dell'IA.
• Il punteggio non è una base unica. La documentazione dice che non dovrebbe essere usato come unica base per provvedimenti sfavorevoli nei confronti di uno studente. Contano il giudizio umano e le politiche dell'istituzione.

I passaggi che soddisfano i requisiti possono essere rielaborati gratuitamente.