Comment la structure d’un essai influe sur votre score d’IA Turnitin

La structure d’un essai peut influer sur votre score d’IA Turnitin, car la FAQ énumère explicitement des caractéristiques structurelles à l’origine de faux positifs. Parmi elles : "content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (un contenu sans grande variation structurelle, un texte qui se répète littéralement ou un texte paraphrasé sans développer d’idées nouvelles). La FAQ conseille aux enseignants de "take that into consideration when looking at the percentage indicated" (prendre cet élément en considération lorsqu’ils examinent le pourcentage indiqué) pour ce type de texte. Une note de version de mai 2023 décrit aussi un schéma où la première et la dernière phrase d’un document connaissaient une incidence plus élevée de faux positifs, souvent parce qu’elles consistent en "introduction or conclusion content written in a generic way." (un contenu d’introduction ou de conclusion rédigé de manière générique). La logique de détection a été modifiée pour réduire ce phénomène, mais le schéma structurel de fond — introductions et conclusions génériques — demeure. Si votre essai a un rythme de phrase uniforme, des formulations répétitives, ou une introduction et une conclusion stéréotypées, ces caractéristiques peuvent contribuer à un score plus élevé, même lorsque le contenu est entièrement le vôtre.

La FAQ identifie des caractéristiques précises du texte qui tendent à produire des faux positifs :

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Il arrive que les faux positifs (le fait de signaler à tort comme généré par l’IA un texte écrit par une personne) portent sur un contenu sans grande variation structurelle, un texte qui se répète littéralement ou un texte paraphrasé sans développer d’idées nouvelles.)

La phrase suivante : "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Si notre indicateur relève une part plus importante de rédaction par IA dans un tel texte, nous vous conseillons d’en tenir compte lorsque vous examinez le pourcentage indiqué.)

Cela signifie que la FAQ elle-même reconnaît que certains schémas structurels de l’écriture humaine peuvent déclencher des scores d’IA plus élevés. Un essai où chaque paragraphe suit la même structure, où les phrases ont une longueur et un rythme similaires, ou où des expressions clés sont répétées pour appuyer une idée, peut correspondre à ce profil de faux positif. La recommandation officielle est de ne pas traiter le pourcentage comme définitif pour ce type de texte. Pourquoi les détecteurs d’IA signalent les essais bien écrits est la même observation, vue du côté de la qualité.

Le modèle de détection traite la prose éligible en la découpant en segments qui se chevauchent :

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Lorsqu’un devoir est soumis à Turnitin, les phrases de la soumission sont extraites puis découpées en sections qui se chevauchent pour l’analyse de prédiction. Chaque segment est classé par le modèle de détection d’IA et reçoit une valeur comprise entre 0 et 1, qui indique la probabilité que le texte soit plutôt humain ou généré par l’IA.)

Le modèle n’est pas programmé pour évaluer la burstiness ou la perplexité en tant que mesures nommées : "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Notre modèle n’est pas explicitement programmé pour évaluer des signaux précis tels que 'burstiness', 'perplexity', ou d’autres mesures individuelles parfois évoquées dans les débats publics.) La phrase suivante : "Instead, it learns statistical patterns from our training data." (Il apprend plutôt des régularités statistiques à partir de nos données d’entraînement.) La même FAQ indique également : "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nos classifieurs sont entraînés à détecter ces différences de probabilité des mots et maîtrisent les suites de probabilités de mots propres aux rédacteurs humains.) Le modèle évalue donc des régularités dans la probabilité des mots, et non des mesures de surface, mais une structure de phrase uniforme peut tout de même produire des régularités que le modèle associe à un texte généré par l’IA. Ce que mesurent les détecteurs d’IA au-delà de la perplexité et de la burstiness est l’explication la plus détaillée.

Une note de version de mai 2023 décrit un schéma observé depuis le lancement :

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (Depuis le lancement, nous avons observé une incidence plus élevée de faux positifs dans les premières ou les dernières phrases d’un document. Ces phrases consistent souvent en un contenu d’introduction ou de conclusion rédigé de manière générique.)

La phrase suivante : "As a result, we have changed our detection logic to help reduce these false positives." (En conséquence, nous avons modifié notre logique de détection afin de réduire ces faux positifs.)

Il s’agissait d’une amélioration apportée en 2023, non d’un défaut actuel. La logique de détection a été mise à jour pour réduire les faux positifs à ces endroits. Le schéma de fond demeure toutefois : introductions et conclusions emploient volontiers un langage générique et stéréotypé qui peut ressembler à une production d’IA. Si votre essai s’ouvre sur des affirmations très générales et se termine par une synthèse qui reformule vos points principaux, ces sections peuvent rester plus exposées aux faux positifs que les paragraphes du développement.

La FAQ décrit le comportement des documents courts sous le modèle de détection :

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Dans les documents plus courts qui ne comptent que quelques centaines de mots, la prédiction sera le plus souvent 'all or nothing' (tout ou rien), car nous prédisons sur un seul segment, sans possibilité de chevauchement.)

La phrase suivante : "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Cela signifie qu’un texte mêlant du contenu généré par l’IA et du contenu original pourrait être signalé comme entièrement généré par l’IA.)

Les essais courts rencontrent ce problème parce qu’ils offrent moins de segments à évaluer pour le modèle. Sans segments qui se chevauchent pour lisser les erreurs de prédiction individuelles, le score devient binaire. Un essai de 500 mots doté d’une introduction structurellement uniforme peut recevoir un score extrême qui ne reflète pas le mélange réel de contenu humain et de contenu généré par l’IA.

La FAQ insiste sur le fait que le score ne doit pas être considéré comme définitif :

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Aussi devons-nous souligner que le pourcentage affiché par l’indicateur de rédaction par IA ne doit pas être utilisé comme seule base de décision ni comme mesure d’évaluation définitive par les enseignants.)

Cela compte pour la structure de l’essai, car une écriture structurellement uniforme peut gonfler le score. Si votre essai correspond aux caractéristiques exposées aux faux positifs décrites dans la FAQ, le pourcentage peut surestimer la part réelle de contenu généré par l’IA. La documentation elle-même recommande d’examiner le score à la lumière d’autres éléments, et non comme un verdict qui se suffit à lui-même. Savoir s’il faut malgré tout restructurer votre écriture est une autre question : devez-vous changer votre façon d’écrire pour éviter d’être signalé.

Pour résumer ce que nous avons vu :

• La FAQ cite le manque de variation structurelle, la répétition littérale et la paraphrase sans idées nouvelles comme caractéristiques exposées aux faux positifs.
• Il est conseillé aux enseignants de "take into consideration" (prendre en considération) le pourcentage pour ce type de texte.
• Une note de version de 2023 décrivait des faux positifs concentrés dans la première et la dernière phrase, souvent un contenu générique d’introduction ou de conclusion.
• La logique de détection a été mise à jour pour réduire ce phénomène, mais le schéma structurel demeure.
• Les essais courts font l’objet de prédictions tout ou rien en raison de l’évaluation d’un segment unique.
• La FAQ indique que le pourcentage ne doit pas être utilisé comme seule base de décision.

Si vous recevez un rapport d’IA Turnitin et souhaitez traiter les passages signalés, importez le rapport et travaillez dessus. Les passages éligibles peuvent être soumis à nouveau gratuitement.