Come verificare la promessa di un umanizzatore IA di preservare la tua formattazione

Un'affermazione sulla formattazione si può verificare solo se indica quattro cose: quale elemento, in quale livello del file, su quanti, contato come. «Preserva le tue citazioni» non ne indica nessuna. «I titoli Markdown presenti nell'input sono sopravvissuti in 291 casi su 552» le indica tutte e quattro, e puoi non essere d'accordo.

Il resto è il test applicato all'unico dataset aperto che sono riuscito a trovare in questa categoria — che risulta pubblicato da un concorrente e resta comunque la cosa più verificabile qui — e poi ai nostri numeri, lacune comprese.

La domanda sul livello è quella che si salta, ed è quella che decide se un numero significhi qualcosa per una tesi. Un cancelletto all'inizio di una riga e uno stile Titolo 2 in `word/document.xml` sono oggetti diversi, con modi di fallire diversi. Uno strumento può essere perfetto nell'uno e disastroso nell'altro.

Parti da chi lo pubblica, perché un'affermazione eredita gli interessi di chi la fa.

Il dataset che tutti citano in questa categoria è HumanizerBench, e la sua pagina informativa riporta una frase che quasi tutti i benchmark nasconderebbero: "We're operated by WriteHuman, which sells one of the humanizers on this leaderboard." (Siamo gestiti da WriteHuman, che vende uno degli umanizzatori presenti in questa classifica.) Ogni pagina del sito si chiude con la stessa ammissione nel footer, e WriteHuman occupa il primo posto nel ciclo citato più avanti. Non è quindi un benchmark indipendente, e una citazione che lo definisce tale ha saltato un passaggio.

Ciò che è, invece, è la cosa più rara: pubblica i file. Ogni input, ogni output e ogni verdetto del detector del ciclo di agosto 2026 si trova in un repository pubblico con licenza CC BY 4.0. Un benchmark gestito da un concorrente che consegna i dati grezzi può essere verificato da un estraneo; una rassegna dal tono neutrale senza nulla da scaricare non può. Le due metà devono viaggiare insieme, ed è la seconda a rendere i numeri qui sotto degni di qualcosa.

Il ciclo è composto da 12 strumenti per 33 campioni, per un totale di 396 test completati. Si contano gli elementi presenti in un input e tornati nell'output corrispondente:

Ora le quattro domande. Elemento: indicato. Denominatore: pubblicato. Metodo di conteggio: una regola che puoi applicare da solo, perché un titolo Markdown è una riga che inizia con un cancelletto e uno span in grassetto è testo tra doppi asterischi, e la sopravvivenza è limitata a ciò che l'input conteneva davvero: nessuno strumento riceve credito per essersi inventato un titolo che non c'è mai stato. Scarica il ciclo, applica la regola e arriverai a questi due numeri oppure scoprirai dove ho sbagliato. Livello: caratteri Markdown in testo semplice. Tutto ciò che c'è in quel dataset è stato incollato in una casella e poi ricopiato fuori; non è mai stato coinvolto alcun `.docx`.

Quell'ultima riga non è una critica al benchmark, che non ha mai affermato altro. È ciò che devi portarti dietro quando un venditore te la cita contro.

Le stesse quattro domande, puntate su di noi. E la prima cosa da dire è quella che decide quanto peso meriti tutto questo: abbiamo misurato il nostro output, su file scelti da noi, con il nostro script. È un fornitore che misura sé stesso.

Abbiamo preso tre coppie prima-dopo, aperto ogni file come zip e percorso `word/document.xml`. Il conteggio dei paragrafi è tornato identico in tutti e tre (rispettivamente 345, 403 e 405). I paragrafi con stile di titolo, sull'intero insieme, erano 152 in entrata e 152 in uscita. L'unica tabella nel corpus è rimasta invariata: 7 righe e 14 celle.

Elemento: paragrafi, stili di titolo, righe e celle di tabella. Livello: DOCX. Denominatore: dichiarato. Metodo di conteggio: uno script che legge l'XML invece di chiedere al prodotto cosa ha fatto.

E la parte che non puoi verificare: i file sono nostri e non li pubblichiamo, quindi nessuno fuori da questa azienda può arrivare a 152 ricontando. È una debolezza reale di quel numero, e preferisco dirla piuttosto che abbellirla. Ciò che si può trasferire è la procedura: i sei passaggi più avanti, eseguiti su un documento tuo invece che su uno scelto da noi.

E ora le parti che una pagina di marketing ometterebbe.

La formulazione di un titolo non è coperta da quel numero. Nel documento da 46 titoli, 18 titoli sono tornati riformulati con l'impostazione bilanciata, pur mantenendo lo stesso stile. Sopravvivere come titolo e sopravvivere invariati sono due affermazioni diverse, e solo la prima è misurata sopra.

Diversi elementi non sono mai stati testati, perché il corpus non ne conteneva nessuno. Cercare nei pacchetti i marcatori di un campo sommario, di un riferimento incrociato e di una nota a piè di pagina non restituisce nulla in tutti e tre i file. Per questo il nostro conteggio tace proprio sugli elementi da cui una tesi dipende di più. «La tabella è sopravvissuta» è una misurazione. «I riferimenti incrociati sopravvivono» sarebbe un'inferenza, e questa distinzione va applicata alla versione di chiunque, compresa la nostra.

Ecco un errore che abbiamo individuato nelle nostre stesse ricerche, ed è per questo che mi fido più delle quattro domande che del riassunto di chiunque.

Un documento interno su quel dataset pubblico riportava una riga in cui si diceva che quattro strumenti indicati per nome avevano ottenuto lo 0% nella sopravvivenza dei titoli. Ricontando dai dati grezzi, l'elenco era giusto ma apparteneva alla colonna grassetto. Sui titoli, una di quelle quattro aziende è al 58,7%. Se fosse uscito così, avremmo pubblicato uno 0% su un'azienda i cui dati pubblici dicono il contrario, e chiunque avrebbe potuto dimostrarlo in cinque minuti scaricando lo stesso file.

Il numero era reale. Si era semplicemente staccato da ciò che misurava, a un documento di distanza dalla fonte.

Da qui nasce una quinta domanda, ed è la più economica da fare: da qui riesco a risalire ai dati grezzi, e chi li ha prodotti? Se la risposta è un post che cita un altro post, il numero ha già viaggiato più lontano di quanto possa andare senza rischi. Se i dati grezzi sono a un click di distanza ma chi li ha pubblicati vende uno strumento nella stessa tabella, puoi comunque usarli: devi solo dire entrambe le cose insieme, ogni volta.

Non ti serve un benchmark per verificare uno strumento che stai valutando. Ti serve un file volutamente scomodo.

1. Costruisci un documento di prova con uno di ogni elemento: due livelli di titolo, un sommario automatico, un riferimento incrociato a una figura numerata, una nota a piè di pagina, un elenco numerato, una tabella a due colonne con un numero e un'unità di misura in una cella, una frase citata e tre citazioni nel testo prese dal tuo gestore bibliografico.
2. Segnati i conteggi prima di caricare il file. Riferimenti bibliografici, note a piè di pagina, righe e celle di tabella, titoli, voci di elenco.
3. Passalo nello strumento.
4. Apri il risultato, seleziona tutto e aggiorna i campi (Ctrl+A, poi F9). Un campo attivo si aggiorna davanti ai tuoi occhi. Un campo trasformato in caratteri normali sembra identico e non fa nulla, ed è il modo per distinguerli in due secondi senza aprire l'XML.
5. Riconta, poi confronta la formulazione separatamente dalla struttura. Un titolo che resta un titolo ma dice qualcosa di diverso è un risultato, non un fallimento, ma devi sapere quale dei due hai ottenuto.
6. Leggi la frase citata e la cella che contiene il numero. Sono i due punti in cui una riscrittura scorrevole fa il danno che non si vede scorrendo.

Mezz'ora di questo ti dice più sul tuo file di qualsiasi pagina di confronto in questa categoria, compresa la nostra. Le pagine di confronto, la nostra come quelle di chiunque altro, sono scritte sui documenti di qualcun altro.

Lo strumento HumanPen è uno strumento per documenti, quindi il livello del file è quello che ci interessa, e i conteggi qui sopra sono ciò che vi abbiamo misurato. Quattro elementi restano non misurati da noi, e sono indicati in questo articolo invece di essere lasciati fuori.

La parte che è una scelta di progettazione anziché una misurazione: non viene mai riscritto nulla di più piccolo di un paragrafo intero, e una selezione che cada a metà di un paragrafo viene estesa a quel paragrafo e messa davanti a te per la conferma. Un report importato può stabilire quel confine al posto tuo. La fatturazione deriva dalle parole riscritte stesse, che è un fatto di prezzi e non un'affermazione di conservazione, e la elenco qui solo perché le due cose vengono vendute come una sola frase. Le nostre stesse FAQ si chiudono ancora con "Review complex documents after download" (Controlla i documenti complessi dopo il download), che è l'indicazione giusta e non è una che intendiamo attenuare.

L'affermazione è volutamente ristretta: meno paragrafi modificati significa meno punti in cui tutto questo può andare storto.

Esiste un benchmark indipendente per questo? Non uno che io riesca a trovare. Esiste un dataset aperto, HumanizerBench, pubblicato con licenza CC BY 4.0, ma è gestito da WriteHuman, che vende uno degli strumenti che classifica: «indipendente» è quindi la parola sbagliata. È verificabile più che indipendente, e sono due proprietà diverse: i file grezzi sono scaricabili, che è più di quanto offra gran parte di questa categoria. Inoltre misura la formattazione Markdown in testo semplice, non qualcosa all'interno di un `.docx`. Per il livello documento non ho trovato alcun dataset pubblico, ed è per questo che il file fai-da-te qui sopra vale la mezz'ora.

Uno strumento dice di avere un tasso di conservazione del 99%. È buono? Così com'è scritto, non si può rispondere. Chiedi quale elemento, in quale livello del file, su quanti e contato come. Un tasso senza denominatore e senza elemento indicato non è una misurazione.

Qual è il controllo più rapido in assoluto? Ctrl+A e poi F9 in Word. Separa i campi attivi dal testo che si limita a sembrarlo, e richiede due secondi.

Perché i titoli sopravvivono e gli elenchi di riferimenti a volte no? Meccanismi diversi. Un titolo è uno stile associato a un paragrafo, e sopravvive alla riscrittura delle parole che contiene. Un elenco di riferimenti è contenuto, quindi il fatto che cambi dipende interamente dal fatto che fosse compreso nel perimetro della riscrittura.