Come la struttura del saggio incide sul tuo punteggio IA in Turnitin

La struttura del saggio può incidere sul tuo punteggio IA in Turnitin perché le FAQ elencano esplicitamente caratteristiche strutturali che generano falsi positivi. Tra queste "content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (contenuti con poca varietà strutturale, testi che si ripetono alla lettera o testi riformulati senza sviluppare idee nuove). Le FAQ invitano i docenti a "take that into consideration when looking at the percentage indicated" (tenere conto di questo aspetto quando si guarda alla percentuale indicata) per questo tipo di testi. Una nota di rilascio del maggio 2023 descrive anche un caso in cui la prima e l’ultima frase di un documento registravano un’incidenza maggiore di falsi positivi, spesso perché consistevano in "introduction or conclusion content written in a generic way." (contenuti di introduzione o conclusione scritti in modo generico). La logica di rilevamento è stata modificata per ridurre il fenomeno, ma lo schema strutturale di fondo — introduzioni e conclusioni generiche — resta. Se il tuo saggio ha un ritmo di frase uniforme, formulazioni ripetitive o un’introduzione e una conclusione schematiche, queste caratteristiche possono contribuire a un punteggio più alto anche quando il contenuto è interamente tuo.

Le FAQ indicano caratteristiche specifiche del testo che tendono a produrre falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (A volte i falsi positivi (segnalare erroneamente come generato dall’IA un testo scritto da una persona) possono riguardare contenuti con poca varietà strutturale, testi che si ripetono alla lettera o testi riformulati senza sviluppare idee nuove.)

La frase successiva: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore rileva una quantità maggiore di scrittura IA in questo tipo di testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Questo significa che le stesse FAQ ammettono che alcuni schemi strutturali della scrittura umana possono far salire il punteggio IA. Un saggio in cui ogni paragrafo segue la stessa struttura, in cui le frasi hanno lunghezza e ritmo simili, o in cui le espressioni chiave vengono ripetute per dare enfasi, può rientrare in questo profilo di falso positivo. L’indicazione ufficiale è di non trattare la percentuale come definitiva per questo tipo di testi. Perché i rilevatori di IA segnalano i saggi ben scritti è la stessa osservazione vista dal lato della qualità.

Il modello di rilevamento elabora la prosa idonea suddividendola in segmenti sovrapposti:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l’analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di un essere umano o generato dall’IA.)

Il modello non è programmato per valutare burstiness o perplexity come metriche definite: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre singole metriche a volte citate nelle discussioni pubbliche.) La frase successiva: "Instead, it learns statistical patterns from our training data." (Al contrario, apprende schemi statistici dai nostri dati di addestramento.) Le stesse FAQ affermano anche: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità tipiche di chi scrive come un essere umano.) Il modello valuta quindi schemi di probabilità delle parole, non metriche superficiali, ma una struttura di frase uniforme può comunque produrre schemi che il modello associa al testo generato dall’IA. Cosa misurano i rilevatori di IA oltre perplexity e burstiness è la spiegazione più ampia.

Una nota di rilascio del maggio 2023 descrive uno schema osservato dal lancio:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (Dal lancio abbiamo osservato un’incidenza maggiore di falsi positivi nelle prime o nelle ultime frasi di un documento. Molte volte queste frasi consistono in contenuti di introduzione o conclusione scritti in modo generico.)

La frase successiva: "As a result, we have changed our detection logic to help reduce these false positives." (Di conseguenza, abbiamo modificato la nostra logica di rilevamento per contribuire a ridurre questi falsi positivi.)

Quello fu un miglioramento del 2023, non un difetto attuale. La logica di rilevamento è stata aggiornata per ridurre i falsi positivi in queste posizioni. Lo schema di fondo, però, resta: introduzioni e conclusioni tendono a usare un linguaggio generico e schematico che può somigliare all’output di un’IA. Se il tuo saggio si apre con affermazioni molto ampie e si chiude con una sintesi che ripete i tuoi punti principali, quelle sezioni possono restare più esposte ai falsi positivi rispetto ai paragrafi centrali.

Le FAQ descrivono come si comportano i documenti brevi con il modello di rilevamento:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Nei documenti più brevi, dove ci sono solo poche centinaia di parole, la previsione sarà per lo più 'all or nothing' (tutto o niente), perché prevediamo su un singolo segmento senza possibilità di sovrapposizione.)

La frase successiva: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che una parte del testo che mescola contenuti generati dall’IA e contenuti originali potrebbe essere segnalata come interamente generata dall’IA.)

I saggi brevi incontrano questo problema perché contengono meno segmenti che il modello può valutare. Senza segmenti sovrapposti che attenuino i singoli errori di previsione, il punteggio diventa binario. Un saggio di 500 parole con un’introduzione strutturalmente uniforme può ricevere un punteggio estremo che non rispecchia la reale mescolanza di contenuto umano e contenuto IA presente.

Le FAQ sottolineano che il punteggio non va trattato come definitivo:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Perciò dobbiamo sottolineare che la percentuale sull’indicatore di scrittura IA non deve essere usata come unica base per intervenire né come misura di valutazione definitiva da parte dei docenti.)

Questo conta per la struttura del saggio perché una scrittura strutturalmente uniforme può gonfiare il punteggio. Se il tuo saggio corrisponde alle caratteristiche inclini ai falsi positivi descritte dalle FAQ, la percentuale può sovrastimare il contenuto IA effettivo. La stessa documentazione invita a considerare il punteggio insieme ad altri elementi, non come un verdetto a sé stante. Stabilire se tu debba comunque ristrutturare il tuo modo di scrivere è un altro discorso: dovresti cambiare il tuo modo di scrivere per evitare di essere segnalato.

Per riassumere quanto visto:

• Le FAQ elencano scarsa varietà strutturale, ripetizione letterale e riformulazione senza idee nuove tra le caratteristiche inclini ai falsi positivi.
• Ai docenti si consiglia di "take into consideration" (tenere in considerazione) la percentuale per questo tipo di testi.
• Una nota di rilascio del 2023 descriveva falsi positivi concentrati nella prima e nell’ultima frase, spesso contenuti generici di introduzione o conclusione.
• La logica di rilevamento è stata aggiornata per ridurre il fenomeno, ma lo schema strutturale resta.
• I saggi brevi ottengono previsioni tutto o niente a causa della valutazione su un singolo segmento.
• Le FAQ dicono che la percentuale non deve essere usata come unica base per intervenire.

Se ricevi un rapporto IA di Turnitin e vuoi intervenire sui passaggi segnalati, importa il rapporto e lavoraci sopra. I passaggi idonei possono essere rielaborati gratuitamente.