Come segnalare a Turnitin un falso positivo

Le FAQ di Turnitin chiedono agli utenti di segnalare i falsi positivi. Il testo esatto è: "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (se trovate documenti scritti dall'IA che ci sono sfuggiti, o se notate lavori autentici di studenti che abbiamo classificato come generati dall'IA, fatecelo sapere! Il vostro riscontro è fondamentale per permetterci di migliorare ulteriormente la nostra tecnologia). È l'unico canale ufficiale che la documentazione pubblica di Turnitin indica per segnalare un falso positivo. Le FAQ dicono anche che il punteggio IA "should not be used as the sole basis for action," (non dovrebbe essere usato come unica base per prendere decisioni), che il modello "may not always be accurate," (potrebbe non essere sempre accurato) e che certi tipi di testo sono più esposti ai falsi positivi. Segnalare il falso positivo non cambia il punteggio che avete già ricevuto, ma fornisce a Turnitin dati con cui migliorare i futuri aggiornamenti del modello.

Le FAQ non girano intorno alla questione:

"If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (se trovate documenti scritti dall'IA che ci sono sfuggiti, o se notate lavori autentici di studenti che abbiamo classificato come generati dall'IA, fatecelo sapere! Il vostro riscontro è fondamentale per permetterci di migliorare ulteriormente la nostra tecnologia.)

Questa frase vale in due direzioni. Chiede di segnalare sia i testi IA sfuggiti al rilevamento (falsi negativi) sia i lavori autentici di studenti indicati a torto come generati dall'IA (falsi positivi). Per noi conta la seconda. Se un testo scritto da voi è stato segnalato come generato dall'IA, la stessa documentazione di Turnitin vi chiede di comunicarglielo.

Le FAQ descrivono i testi più esposti ai falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (a volte i falsi positivi, cioè testi scritti da esseri umani indicati a torto come generati dall'IA, possono riguardare contenuti con scarsa varietà strutturale, testi che si ripetono alla lettera oppure testi parafrasati senza sviluppare idee nuove.)

La frase successiva: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (se il nostro indicatore rileva una quantità maggiore di scrittura IA in testi di questo tipo, vi consigliamo di tenerne conto quando valutate la percentuale indicata.)

Se il testo segnalato rientra in una di queste descrizioni, avete una spiegazione concreta per il falso positivo. Potete richiamare la descrizione delle FAQ sia quando discutete del flag con il docente sia quando segnalate il falso positivo a Turnitin. Segnalato come IA, ma l'avete scritto voi spiega come impostare quella conversazione.

Le FAQ affermano:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (dobbiamo quindi sottolineare che la percentuale dell'indicatore di scrittura IA non dovrebbe essere usata come unica base per prendere decisioni né come misura di valutazione definitiva da parte dei docenti.)

Un'altra pagina di orientamento aggiunge:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (non ha lo scopo di fornire risposte definitive se preso da solo. Più importante di qualsiasi strumento è il docente che legge il punteggio e decide bilanciando queste informazioni con la conoscenza diretta dei propri studenti, del loro lavoro e delle politiche dell'istituzione.)

Queste affermazioni vi danno due appigli concreti. Primo: il punteggio è un dato, non un verdetto. Secondo: il modello può sbagliare, e Turnitin lo riconosce. Segnalare il falso positivo è il meccanismo ufficiale per portare a conoscenza di Turnitin il fatto che, nel vostro caso specifico, il modello ha sbagliato. La frequenza con cui un errore è comunque atteso è il calcolo spiegato in cosa significa un tasso di falsi positivi dell'1% quando un'università invia 75,000 elaborati.

Segnalare un falso positivo a Turnitin non cambia il punteggio che avete già ricevuto. Il report è stato già generato e, come confermano le note di rilascio di Turnitin, gli aggiornamenti del modello "will not retroactively update previously-generated AI writing reports." (non aggiorneranno retroattivamente i report di scrittura IA generati in precedenza). Quello che la segnalazione fa è fornire dati che Turnitin usa per migliorare i futuri aggiornamenti del modello. Le FAQ dicono: "Your feedback is crucial in enabling us to improve our technology further." (il vostro riscontro è fondamentale per permetterci di migliorare ulteriormente la nostra tecnologia). È un contributo che conta nel lungo periodo, non una soluzione immediata. Per la situazione che avete davanti oggi, le mosse più concrete sono parlare del flag con il docente, richiamare le descrizioni dei testi a rischio di falso positivo indicate nelle FAQ se riguardano il vostro caso, e lavorare sui passaggi segnalati uno per uno. Se la cosa supera i limiti di una conversazione, quali prove accetta la vostra università è la strada che fa davvero avanzare la vostra posizione.

Per riassumere quanto abbiamo visto:

• Le FAQ di Turnitin chiedono esplicitamente agli utenti di segnalare i falsi positivi: "please let us know!" (fatecelo sapere!)
• Le FAQ elencano i tipi di testo più esposti ai falsi positivi: scarsa varietà strutturale, ripetizioni, parafrasi senza idee nuove.
• Secondo la stessa documentazione di Turnitin, il punteggio non dovrebbe essere usato come unica base per prendere decisioni.
• La segnalazione non cambia il punteggio attuale, ma contribuisce a migliorare i modelli futuri.
• Per agire subito: parlatene con il docente e lavorate sui passaggi segnalati.

Se avete un report di Turnitin che indica quali passaggi sono stati segnalati, importate il report e lavorate su quei passaggi specifici. I passaggi idonei possono essere rielaborati gratuitamente.