Turnitin considera Grammarly come testo scritto dall'IA?

Ortografia, grammatica e punteggiatura: Turnitin dice che, nei suoi test, queste correzioni «in most cases» (nella maggior parte dei casi) non sono state segnalate. Le funzioni generative di Grammarly sono tutt'altra cosa, e Turnitin lo dice nello stesso paragrafo: i contenuti prodotti con la generazione di bozze, la parafrasi o i riassunti «and other features» (e altre funzioni) saranno «likely be flagged as AI-generated by our detector» (probabilmente segnalati come generati dall'IA dal nostro rilevatore). Il confine passa fra correggere una frase che hai scritto e generarne una che non hai scritto.

Ecco la risposta per intero, presa dalle FAQ sulle capacità di rilevamento della scrittura IA di Turnitin, perché ogni frase che contiene viene citata male da qualche parte:

«No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.» (No. Il nostro rilevatore non è tarato per colpire le modifiche di ortografia, grammatica e punteggiatura apportate da Grammarly, bensì altri contenuti IA scritti da LLM come GPT-3.5. Sulla base dei test che abbiamo condotto su documenti scritti da esseri umani e privi di contenuti generati dall'IA, nella maggior parte dei casi le modifiche fatte da Grammarly nella versione gratuita e in quella premium e/o da altri strumenti di controllo grammaticale non sono state segnalate come scritte dall'IA dal nostro rilevatore. Tieni presente che questo esclude i contenuti generati dalle funzioni di IA generativa di Grammarly, fra cui la generazione di bozze, la parafrasi, i riassunti e altre funzioni. I contenuti prodotti con queste funzioni saranno probabilmente segnalati come generati dall'IA dal nostro rilevatore.)

Tre cose da ricavarne, che la versione breve di solito perde.

«In most cases» (nella maggior parte dei casi) è una vera precisazione, non un orpello. Turnitin sta descrivendo i risultati dei propri test su documenti senza contenuti IA e ha scelto di non dire «non segnalati» senza sfumature.

L'elenco delle esclusioni finisce con «and other features» (e altre funzioni), che è volutamente aperto. Se una funzione scrive testo invece di correggerlo, dai per scontato che stia dalla parte generativa, qualunque sia il nome che porta nell'interfaccia questo mese.

E «will likely be flagged» (verrà probabilmente segnalato) è diretto quanto un fornitore di rilevamento riesca a essere. Non è un avvertimento su un rischio. È una previsione.

Non per prodotto, ma per azione. Correggere una virgola nella tua frase lascia la tua frase com'è. Chiedere a uno strumento di riscrivere il paragrafo «in modo più chiaro» ti restituisce un paragrafo che lo strumento ha composto. Tutte e due le cose stanno dentro lo stesso abbonamento, ed è esattamente per questo che la domanda continua a tornare.

La zona scomoda è il suggerimento di riscrittura che arriva come un pulsante unico con un'etichetta amichevole. Se ne hai accettati una dozzina lungo una sezione di discussione, la prosa che hai consegnato è in parte composta da un modello, che tu l'abbia vissuta come editing o no.

La risposta di Turnitin qui sopra riguarda ciò a cui il rilevatore è tarato. Non è una garanzia sul tuo documento, e le stesse FAQ nominano le proprietà del testo che compaiono nei suoi stessi falsi positivi:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A volte i falsi positivi, cioè il segnalare come generato dall'IA un testo scritto da un essere umano, possono includere contenuti con poca varietà strutturale, testo che si ripete letteralmente o testo parafrasato senza sviluppare nuove idee.)

Leggi la frase successiva, che quasi nessuno cita: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in questo tipo di testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.) È il fornitore che dice ai docenti di valutare diversamente un punteggio alto su un testo di quella forma, ed è una frase che vale la pena tenere a portata di mano.

Ora metti questi due fatti uno accanto all'altro. Una revisione intensiva riga per riga, da parte di qualsiasi strumento o di qualsiasi persona attenta, tende a lisciare la varietà strutturale di una bozza. Questa è la nostra lettura e non un'affermazione di Turnitin, ma è il meccanismo che spiegherebbe un elaborato dalla grammatica impeccabile che torna con un numero sopra, e indica una difesa che puoi davvero portare: porta con te le bozze precedenti, quelle più grezze.

Se anche il tuo ateneo ha attivato una funzione di autorialità, non leggere il suo risultato come una seconda opinione sull'IA. Le FAQ di Turnitin descrivono così il suo prodotto Authorship: «uses metadata as well as forensic language analysis to detect if the submitted assignment was written by someone other than the student» (utilizza metadati oltre a un'analisi forense del linguaggio per rilevare se l'elaborato consegnato è stato scritto da qualcuno che non è lo studente), e «it will not be able to indicate if it was AI written; only that the content is not the student's own work» (non sarà in grado di indicare se è stato scritto con l'IA; solo che il contenuto non è opera dello studente).

Provenienza e probabilità di IA sono due affermazioni diverse sul tuo documento. Qualsiasi cosa registri come un file è venuto al mondo sta rispondendo alla domanda a cui un rilevatore non può rispondere, ed è anche per questo che la traccia di scrittura qui sotto vale più di quanto sembri.

Tieni la traccia di scrittura invece di cambiare le tue abitudini per paura. La cronologia delle versioni, i file con la data, la seconda bozza disordinata con il paragrafo che poi hai tagliato. Queste prove stanno fuori dalla discussione su che cosa significhi una percentuale, ed è per questo che reggono (come conservarle in Word, Google Docs e Overleaf).

Se sei già stato segnalato, la prima mossa è leggere il report, non riscrivere l'elaborato (che cosa fare quando l'hai scritto tu).

Devo disattivare Grammarly prima di consegnare? La posizione dichiarata di Turnitin è che il suo rilevatore non è tarato per colpire le modifiche di ortografia, grammatica e punteggiatura. Disattivare le funzioni generative è la parte che corrisponde davvero a quello che dicono le FAQ.

Vale anche per altri correttori grammaticali? La citazione dice «Grammarly (free & premium) and/or other grammar-checking tools» (Grammarly nella versione gratuita e in quella premium e/o altri strumenti di controllo grammaticale), quindi l'affermazione testata è più ampia di un singolo prodotto. L'esclusione generativa segue la stessa logica: una funzione che scrive testo non è un correttore grammaticale.

La mia università dice che usare Grammarly va bene. È come dire che non verrò segnalato? No, e le due cose vanno tenute separate. Una policy riguarda il permesso. Il risultato di un rilevatore è una statistica. Puoi essere perfettamente dentro la policy e trovarti comunque in mano un report con un numero sopra.

Il rilevatore sa quale strumento ha toccato il mio file? Non ne segnala nessuno. Turnitin descrive il modello come qualcosa che classifica i segmenti in base alla probabilità che un testo sia umano o generato dall'IA (più informazioni su che cosa misura quella rilevazione).