Qu’est-ce que le « texte éligible » dans la détection de l’IA par Turnitin ? Explication détaillée

Le modèle de détection de l’IA de Turnitin n’analyse pas chaque mot d’un document. Il travaille sur un sous-ensemble précis du texte, appelé « texte éligible ». La documentation le définit clairement.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Ce texte éligible ne comprend que des phrases de prose, ce qui signifie que nous n’analysons que des blocs de texte rédigés en phrases grammaticalement standard et qui ne comprennent pas d’autres types d’écriture tels que les listes, les puces (courtes structures qui ne sont pas des phrases) ou d’autres structures qui ne sont pas des phrases.)

Le modèle cherche donc de la prose : des blocs de texte organisés en phrases grammaticalement standard. Tout ce qui n’atteint pas ce seuil est laissé de côté. Les puces, les listes numérotées, les en-têtes de tableau qui ne sont pas des phrases complètes et les autres structures qui ne relèvent pas de la prose sont exclues du champ de la détection de l’IA.

La documentation du modèle reconnaît elle-même cette limite : "The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (Le modèle ne détecte pas de manière fiable le texte généré par l’IA lorsqu’il prend la forme de non-prose ou de code, et il ne détecte pas non plus les écrits courts ou non conventionnels tels que les puces (courtes structures qui ne sont pas des phrases).)

Si un document comporte beaucoup de listes et peu de prose, le modèle de détection de l’IA dispose de moins de matière, et le score affiché ne reflète que les parties en prose. Il existe aussi un plancher : les exigences relatives aux fichiers demandent au moins 300 mots de prose avant même qu’un rapport ne soit généré, ce sur quoi revient Turnitin peut-il vérifier une thèse entière.

L’un des aspects les plus déroutants du rapport de détection de l’IA de Turnitin, c’est que le pourcentage et les passages surlignés semblent parfois raconter des histoires différentes. La documentation explique pourquoi.

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Cela signifie qu’un document contenant plusieurs types d’écriture différents entraînerait un écart entre le pourcentage et les surlignages.)

"This percentage is not necessarily the percentage of the entire submission." (Ce pourcentage n’est pas nécessairement celui de l’intégralité de l’envoi.)

Si votre document se compose de 50 % de prose et de 50 % de puces, et que le modèle signale 40 % de la prose comme générée par l’IA, le rapport peut afficher un score d’IA de 40 %. Mais ces 40 % renvoient à la prose éligible, et non au document entier. Qui lit le rapport sans comprendre cela pourrait croire que l’envoi entier est constitué à 40 % de texte généré par l’IA, alors que la proportion réelle sur l’ensemble du document est plus faible.

Cet écart n’est pas un bug. Il découle du périmètre du modèle. Le comprendre vous aide à lire le rapport avec exactitude, et comment lire un rapport de rédaction IA de Turnitin parcourt le reste de la page.

Pour comprendre pourquoi le texte éligible compte, il est utile de savoir ce que le modèle en fait. La documentation décrit le mécanisme :

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Lorsqu’un devoir est soumis à Turnitin, les phrases de l’envoi sont extraites et segmentées en sections se chevauchant pour l’analyse de prédiction. Chaque section est classée par le modèle de détection de l’IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par l’IA.)

Le modèle extrait les phrases, les segmente en sections qui se chevauchent et classifie chaque section. Chaque section reçoit un score de probabilité compris entre 0 et 1. Seules les phrases de prose éligible passent par ce processus. Le contenu qui n’est pas de la prose n’est jamais segmenté ni noté, parce que le modèle ne le considère pas comme du texte analysable.

Voilà pourquoi le périmètre du « texte éligible » détermine directement ce que représente le pourcentage. Le score est un agrégat des scores de probabilité au niveau des sections, et seules les phrases de prose éligible entrent dans cet agrégat.

Deux types de contenu précis ont leurs propres règles.

Tableaux : "We are now able to process long-form prose text in tables." (Nous sommes désormais en mesure de traiter la prose longue dans les tableaux.) La prose à l’intérieur des cellules d’un tableau, si elle est rédigée en phrases grammaticalement standard, fait donc maintenant partie du texte éligible. Soumettez à nouveau les envois existants qui contiennent des tableaux pour qu’ils soient retraités. Si vous avez un document dont la prose dans les tableaux est conséquente et qu’il a été soumis avant cette mise à jour, le score d’IA risque de ne pas refléter le contenu des tableaux tant que vous ne le soumettez pas à nouveau.

Bibliographies : "We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Nous avons corrigé un bug qui surlignait occasionnellement de la rédaction par IA dans les références énumérées dans une bibliographie. Les bibliographies sont désormais exclues lors du traitement du rapport de rédaction IA.) Soumettez à nouveau les envois existants qui contiennent des sections de références surlignées pour qu’ils soient retraités. Si votre rapport précédent montrait du texte signalé dans votre liste de références, c’était un bug, et un nouvel envoi exclura ces sections de l’analyse. Pourquoi Turnitin signale-t-il mes références et mes citations détaille jusqu’où vont les exclusions du côté de la similarité.

Ces deux règles montrent que la définition du texte éligible n’est pas figée. Elle a été affinée pour inclure la prose des tableaux et exclure les bibliographies, ce qui explique en partie que votre score IA Turnitin puisse changer lors d’un nouvel envoi sans que le texte change.

Même au sein de la prose éligible, certaines façons d’écrire sont plus exposées aux faux positifs. La documentation identifie des schémas précis.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Il arrive que les faux positifs (le fait de signaler à tort comme généré par l’IA un texte écrit par un humain) portent sur un contenu qui présente peu de variation structurelle, un texte qui se répète littéralement ou un texte paraphrasé sans développer de nouvelles idées.)

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Si notre indicateur montre une quantité plus élevée de rédaction par IA dans ce type de texte, nous vous conseillons d’en tenir compte lorsque vous regardez le pourcentage indiqué.)

Ainsi, si votre prose est structurellement monotone, qu’elle répète les mêmes formulations ou qu’elle est paraphrasée sans apporter d’idées nouvelles, le modèle peut la signaler comme générée par l’IA alors même qu’elle est écrite par un humain. Ce n’est pas une défaillance du filtre de texte éligible, c’est ce que mesurent les détecteurs d’IA qui fait exactement ce pour quoi il a été entraîné. C’est un problème distinct, au sein de la prose qui entre réellement dans l’analyse.

Si vous cherchez à comprendre pourquoi votre rapport IA Turnitin se présente ainsi, voici le résumé :

• Seules les phrases de prose sont éligibles. Les listes, les puces et les structures qui ne forment pas de phrases sont exclues de l’analyse. Le modèle se concentre sur les phrases grammaticalement standard.
• Le pourcentage ne couvre que la prose éligible. Il ne correspond pas à l’intégralité de l’envoi. D’où l’écart entre le chiffre et les surlignages.
• La prose des tableaux est désormais traitée. La prose longue dans les tableaux compte comme texte éligible. Soumettez à nouveau les envois existants qui contiennent des tableaux pour qu’ils soient retraités.
• Les bibliographies sont exclues. Le bug qui signalait les références a été corrigé. Soumettez à nouveau les envois existants qui contiennent des sections de références surlignées pour qu’ils soient retraités.
• Attention aux faux positifs. Une prose plate, répétitive ou paraphrasée a plus de chances d’être signalée. Tenez-en compte lorsque vous lisez le pourcentage.

Les passages qui remplissent les conditions peuvent être relancés gratuitement.