أعدت الصياغة: انخفض التشابه لكن درجة الذكاء الاصطناعي ارتفعت. إليك السبب

درجة التشابه ودرجة كشف الكتابة بالذكاء الاصطناعي قياسان منفصلان لا يؤثر أحدهما في الآخر، وتقول Turnitin ذلك صراحةً: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (درجة التشابه ونسبة كشف الكتابة بالذكاء الاصطناعي مستقلتان تماماً ولا تؤثر إحداهما في الأخرى.)

عندما تعيد الصياغة لخفض نسبة التشابه، لا توجد أي آلية تسحب درجة الذكاء الاصطناعي إلى الأسفل معها. يمكن للرقمين أن يتحركا في اتجاهين متعاكسين، وكثيراً ما يفعلان ذلك. إعادة الصياغة تغيّر كلمات مستندك، فتقلل تطابق السلاسل النصية في قاعدة بيانات التشابه. والتغييرات نفسها قد تغيّر أنماط احتمال الكلمات بطريقة تجعل كاشف الذكاء الاصطناعي أكثر ميلاً إلى تمييز النص. والنتيجة هي السيناريو الذي يواجهه كثير من الطلاب: التشابه ينخفض، ودرجة الذكاء الاصطناعي ترتفع.

لفهم سبب حدوث ذلك، علينا أن ننظر إلى ما يقيسه كل نظام. يقارن تقرير التشابه النص الذي تسلّمه بقاعدة بيانات من المحتوى الموجود مسبقاً. وكما توضح Turnitin: "The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking." (تشير درجة التشابه إلى نسبة النص المطابق الموجود في المستند المُسلَّم عند مقارنته بمجموعة المحتوى الشاملة التي تستخدمها Turnitin لفحص التشابه.) وتقلل إعادة الصياغة هذه التطابقات لأنك تغيّر تحديداً السلاسل النصية التي يبحث عنها النظام.

يفعل كاشف الكتابة بالذكاء الاصطناعي شيئاً مختلفاً جذرياً. فهو لا يبحث عن نص مطابق، بل يحلل الأنماط الإحصائية للكلمات التي تختارها. وهكذا تصف Turnitin هذه العملية: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عندما تُسلَّم ورقة بحثية إلى Turnitin، تُستخرج الجمل من المحتوى المُسلَّم وتُقسَّم إلى مقاطع متداخلة للتحليل التنبؤي. ويُصنَّف كل مقطع بواسطة نموذج كشف الذكاء الاصطناعي ويُعطى قيمة بين 0 و1 تدل على احتمال أن يكون النص بشرياً أو مولّداً بالذكاء الاصطناعي. وترث كل جملة مستوفية للشروط داخل هذه المقاطع درجة المقطع. ولأن المقاطع تتداخل، قد تحمل بعض الجمل درجات متعددة تُجمَّع لاحقاً في درجة واحدة. ثم تُجمَع هذه الدرجات على مستوى الجمل وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند ككل.)

يبحث نظام التشابه عن سلاسل نصية موجودة بالفعل في مكان آخر. أما نظام الذكاء الاصطناعي فيبحث عن أنماط احتمال في طريقة اختيار الكلمات. وإعادة الصياغة تغيّر السلاسل، وهذا يفيد التشابه، لكنها تغيّر أيضاً أنماط الاحتمال، وهذا قد يضر بدرجة الذكاء الاصطناعي. الهدفان مختلفان، وإصابة أحدهما لا تعني إصابة الآخر.

هنا تصبح الحالة محبطة بشكل خاص. فوثائق Turnitin نفسها تذكر إعادة الصياغة ضمن خصائص النصوص التي يمكن أن تُنتج إيجابيات خاطئة. والنص الكامل يقول: "Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (قد تشمل الإيجابيات الخاطئة أحياناً، أي تمييز نص كتبه إنسان على أنه مولّد بالذكاء الاصطناعي بشكل خاطئ، محتوى يفتقر إلى قدر كبير من التنوع البنيوي، أو نصاً يكرر نفسه حرفياً، أو نصاً أُعيدت صياغته دون تطوير أفكار جديدة.)

وتضيف Turnitin بعد ذلك هذه النصيحة: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا قدراً أكبر من الكتابة بالذكاء الاصطناعي في هذا النوع من النصوص، فننصحك بأن تأخذ ذلك في اعتبارك عند النظر إلى النسبة الموضحة.)

هذا هو جوهر المشكلة. عندما تعيد الصياغة لخفض التشابه، تبقى المراجعة عادةً داخل الأفكار الموجودة على الصفحة أصلاً. وهذا بالتحديد هو نوع النص "paraphrased without developing new ideas" (أُعيدت صياغته دون تطوير أفكار جديدة) الذي تقول Turnitin إنه عرضة للإيجابيات الخاطئة. أنت لا تضيف تحليلاً جديداً، ولا حججاً جديدة، ولا أدلة جديدة. تبقى الأفكار كما هي، وكثيراً ما يبقى البناء مشابهاً، ويصبح النص الآن مطابقاً لنمط يربطه كاشف الذكاء الاصطناعي بالمحتوى الذي تولّده الآلة. والتغييرات التي أجريتها لتجنب تطابقات التشابه قد تكون أنتجت نصاً يبدو إحصائياً أقرب إلى مخرجات الذكاء الاصطناعي، لا أبعد. ولماذا ترفع إعادة الصياغة درجتك في Turnitin للذكاء الاصطناعي يتتبع الآلية نفسها من الطرف الآخر.

من الأسئلة الشائعة ما إذا كان كاشف الذكاء الاصطناعي يقيس أموراً مثل "perplexity" أو "burstiness"، وهي مصطلحات تتداولها النقاشات حول كشف الذكاء الاصطناعي، وقد تناولنا هذا السؤال وحده في هل تستخدم Turnitin مقياسي perplexity وburstiness. وتجيب Turnitin عن ذلك مباشرة: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (نموذجنا غير مبرمج صراحةً لتقييم إشارات محددة مثل burstiness أو perplexity أو أي مقاييس فردية أخرى يُشار إليها أحياناً في النقاشات العامة.) وفي الجملة التالية يضيفون: "Instead, it learns statistical patterns from our training data." (بل إنه يتعلم الأنماط الإحصائية من بيانات التدريب لدينا.)

لا يعني هذا أن احتمال الكلمات أمر غير ذي صلة. فالوثيقة نفسها تكمل بتوضيح حاسم: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (دُرِّبت مصنفاتنا على رصد هذه الفروق في احتمال الكلمات، وهي بارعة في تسلسلات احتمال الكلمات التي تميز الكتّاب من البشر.)

معاً، يقول هذان التصريحان شيئاً مهماً. النموذج لا يحسب perplexity بوصفه مقياساً مسمى، لكنه مدرب على أنماط احتمال الكلمات. وعندما تستقر إعادة الكتابة على الخيار الأوضح في كل موضع، فهي قد تختار الكلمة الأكثر قابلية للتنبؤ إحصائياً في ذلك الموضع. فإذا كان الأصل اختياراً غير مألوف وما حل محله هو الخيار الأكثر شيوعاً، فإن نمط احتمال الكلمات يصبح أكثر قابلية للتنبؤ، لا أقل. وبالنسبة إلى مصنف مدرب على احتمال الكلمات، قد تبدو التسلسلات الأكثر قابلية للتنبؤ أشبه بنص مولّد بالذكاء الاصطناعي. هذه هي الآلية الكامنة خلف المفارقة: إعادة الصياغة تجعل النص أقل شبهاً بالمصادر الموجودة، لكن اختيارات الكلمات المحددة خلالها قد تجعله أكثر قابلية للتنبؤ إحصائياً، وهو عكس ما يخفض درجة الذكاء الاصطناعي.

الخلاصة العملية هي أن خفض التشابه وخفض درجة الذكاء الاصطناعي هدفان مختلفان. كل منهما يتطلب تغييرات مختلفة في النص، وما يفيد أحدهما قد يضر الآخر. وإعادة الصياغة وحدها، خاصة حين تبقى المراجعة داخل الأفكار الموجودة على الصفحة أصلاً، هي نوع الأسلوب الذي يخفض التشابه وقد يرفع درجة الذكاء الاصطناعي في الوقت نفسه. وهذه الفجوة هي أيضاً ما تختلف عليه فئتا الأدوات فعلاً.

تقرير التشابه يتعلق بما إذا كانت سلاسلك النصية تطابق محتوى موجوداً بالفعل. أما تقرير الذكاء الاصطناعي فيتعلق بما إذا كانت أنماط احتمال الكلمات لديك تشبه نصاً تولّده الآلة. ومحاولة حل الأمرين بمراجعة تحريرية واحدة، لا سيما مراجعة تبقى داخل الأفكار الموجودة على الصفحة أصلاً، هي بالضبط الموضع الذي ينشأ فيه التعارض. وإذا ارتفعت درجة الذكاء الاصطناعي بعد أن أعدت الصياغة من أجل التشابه، فالسبب على الأرجح أن إعادة الصياغة غيّرت نصك بطرق يقرؤها كاشف الذكاء الاصطناعي على أنها أكثر قابلية للتنبؤ، فضلاً عن مطابقته لنمط الإيجابيات الخاطئة المتمثل في "paraphrased without developing new ideas." (أُعيدت صياغته دون تطوير أفكار جديدة).

إليك ما ينبغي أن تستخلصه من كل هذا:

1. درجة التشابه ودرجة الذكاء الاصطناعي قياسان مستقلان. خفض إحداهما لا يخفض الأخرى.
2. يبحث نظام التشابه عن السلاسل النصية المطابقة، ويحلل نظام الذكاء الاصطناعي أنماط احتمال الكلمات. هاتان إشارتان مختلفتان.
3. تذكر Turnitin صراحةً أن "Paraphrased without developing new ideas" (أُعيدت صياغته دون تطوير أفكار جديدة) من أسباب الإيجابيات الخاطئة. والمعيار هو ما إذا ظهر تحليل جديد، لا نوع التعديل الذي أنتج الجملة.
4. نموذج الذكاء الاصطناعي غير مبرمج للتعامل مع burstiness أو perplexity كمقياسين مسميين، لكنه مدرب على احتمال الكلمات. والمراجعة التي تستقر على الخيار الأكثر قابلية للتنبؤ في كل موضع قد تجعل النص يبدو أقرب إلى ما تولّده الآلة.
5. خفض التشابه وخفض درجة الذكاء الاصطناعي هدفان منفصلان. وإعادة الصياغة وحدها قد تفيد أحدهما وتضر الآخر.

عندما يمكن إعادة تشغيل المقاطع المستوفية للشروط مجاناً، يكون لديك مجال للتكرار، وهذا هو الغرض من استيراد تقرير Turnitin. والمفتاح هو التعامل مع الدرجتين كمشكلتين منفصلتين تتطلب كل منهما أسلوباً منفصلاً.