هل يستخدم Turnitin الحيرة والتفاوت لاكتشاف الذكاء الاصطناعي؟

نموذج Turnitin غير مبرمج صراحةً لتقييم "التفاوت" أو "الحيرة" كمقياسين فرديين. إنه مصنف قائم على المحولات يتعلم الأنماط الإحصائية من بيانات التدريب، بما في ذلك الأنماط في احتمال الكلمات. لذلك فإن الادعاء الشائع بأن Turnitin يتحقق من درجتين مسمّتين ويضع علامة على نصك إذا وقعتا في النطاق الخاطئ هو ادعاء مخطئ فيما يخص الآلية، وإن كان الحدس الكامن وراءه، وهو أن احتمال الكلمات هو ما يميز نص الذكاء الاصطناعي عن النص البشري، ليس بعيداً تماماً.

يهم هذا التصحيح لأن النصيحة المبنية على الآلية الخاطئة تفشل بطريقة محددة. إذا كنت تعتقد أن Turnitin يحسب رقماً للحيرة، فستحاول تحريك ذلك الرقم. أما إذا كان ما يفعله فعلاً هو تصنيف النص وفق أنماط احتمال الكلمات المتعلمة عبر مقاطع متداخلة، فإن تحريك مقياس سطحي واحد قد يغيّر ما يراه المصنف وقد لا يغيّره. لقد كتبنا بشكل عام عن ما تقيسه كواشف الذكاء الاصطناعي؛ وتضيّق هذه المقالة النطاق إلى كاشف واحد ومقياسين يسميهما معظم الناس.

يتضمن الأسئلة الشائعة عن قدرات كشف الكتابة بالذكاء الاصطناعي لدى Turnitin نفياً مباشراً. الجملة التي يواصل الجميع اقتباسها، والجملة التي تليها مباشرة والتي يواصل الجميع إسقاطها:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (نموذجنا غير مبرمج صراحةً لتقييم إشارات محددة مثل "التفاوت" أو "الحيرة" أو مقاييس فردية أخرى يُشار إليها أحياناً في المناقشات العامة.) "Instead, it learns statistical patterns from our training data." (بدلاً من ذلك، يتعلم أنماطاً إحصائية من بيانات تدريبنا.)

ويواصل المقطع نفسه: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (ونتيجة لذلك، تُنتَج مخرجاته بأنماط متعلمة عديدة تعمل معاً لا بمجموعة صغيرة من القواعد الشفافة التي يستطيع البشر قراءتها. ولهذا السبب، قد لا يمكن دائماً تفسير التنبؤات الفردية بعبارات بسيطة تنتقل من خاصية إلى أخرى.)

اقرأ تلك الجمل الأربع معاً وسيتخذ النفي شكلاً دقيقاً. يقول Turnitin: ليس لدينا وحدة تحسب رقماً للتفاوت، وليس لدينا وحدة تحسب رقماً للحيرة، ولا ندخل هذين الرقمين في حد فاصل. هذا نفي لبنية محددة. وليس نفياً لكون احتمال الكلمات معنياً بالأمر.

إليك الجملة في الصفحة نفسها التي تحول نفياً بسيطاً إلى أمر أكثر تعقيداً. تحت السؤال عن المعايير أو الإشارات التي يأخذها النموذج في الحسبان، يكتب Turnitin:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (مصنفاتنا مُدربة على اكتشاف هذه الاختلافات في احتمال الكلمات، وهي بارعة في متواليات احتمال الكلمات المميزة للكتّاب من البشر.)

إذن، الأسئلة الشائعة نفسها التي تقول إن النموذج غير مبرمج لتقييم الحيرة تقول أيضاً إن المصنف مُدرب على اكتشاف الاختلافات في احتمال الكلمات. هاتان العبارتان لا تتناقضان، لكن عليك أن تمسك بهما معاً في الوقت نفسه لتتجنب قراءة أيهما قراءة خاطئة.

الحيرة، بوصفها مفهوماً، مقياس لمدى قابلية تتابع الكلمات للتنبؤ في ظل نموذج لغوي. يخصص النموذج اللغوي احتمالات للكلمات، وتلخص الحيرة مدى دهشة النموذج من الكلمة التالية التي ظهرت فعلاً في كل خطوة. الحيرة المنخفضة تعني أن النموذج وجد النص قابلاً للتنبؤ. والحيرة المرتفعة تعني العكس. والسبب في أن النص المولّد بالذكاء الاصطناعي يميل إلى حيرة منخفضة هو أن النماذج اللغوية تنتج النص بأخذ عينات من توزيعات الاحتمال الخاصة بها، فتقع المخرجات ضمن نطاق من الاحتمالات كان النموذج يعتبرها مرجحة أصلاً.

هذا هو الرابط. لا يحسب Turnitin درجة حيرة ويقارنها بحد فاصل. لكن مصنفه مُدرب على أنماط احتمال الكلمات، والحيرة طريقة من طرق تلخيص احتمال الكلمات. النفي يتعلق بالآلية، لا بالإشارة.

الفرق العملي هو التالي. النظام الذي يحسب الحيرة كمقياس مسمى يمنحك هدفاً واضحاً: اخفض رقم الحيرة تخفض احتمال وضع علامة على نصك. أما النظام الذي يتعلم أنماط احتمال الكلمات كجزء من مصنف أكبر فلا يمنحك مثل هذا الهدف الواضح، لأن المصنف يجمع أنماطاً متعلمة عديدة ولا يمكن اختزال المخرجات في درجة واحدة يمكنك تتبعها. لقد نظرنا في كيفية قراءة تقرير الكتابة بالذكاء الاصطناعي من Turnitin، والرقم الظاهر عليه نسبة مئوية واحدة، لكن تلك النسبة هي تجميع للعديد من التصنيفات على مستوى المقاطع، وليست قراءة من مقياس للحيرة.

الوصف المنشور من Turnitin لكيفية معالجة النموذج للعمل المُقدَّم موجود في صفحة الأسئلة الشائعة نفسها:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عندما يُقدَّم بحث إلى Turnitin، تُستخرج جمل المُقدَّم وتُقسَّم إلى أقسام متداخلة من أجل تحليل التنبؤ. ويُصنَّف كل مقطع بواسطة نموذج كشف الذكاء الاصطناعي وتُعطى له قيمة بين 0 و1، تدل على احتمال أن يكون النص على الأرجح من كتابة بشرية أو مولداً بالذكاء الاصطناعي. وترث كل جملة مؤهلة داخل هذه المقاطع درجة المقطع. ولأن المقاطع تتداخل، قد تحمل بعض الجمل درجات متعددة تُجمَع بعد ذلك في درجة واحدة. وتُجمَّع درجات الجمل هذه بدورها وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي الإجمالية للمستند.)

إذن سلسلة المعالجة هي: استخراج الجمل، وتقطيعها إلى مقاطع متداخلة، وتصنيف كل مقطع على مقياس من 0 إلى 1، وترك الجمل المؤهلة ترث درجات المقاطع التي تغطيها، وجمع الدرجات المتداخلة، ثم تجميع كل شيء في نسبة المستند التي تراها في التقرير.

التداخل هو الجزء الذي يكسر القصة البسيطة عن المقياس. الجملة القريبة من حافة مقطع ما تقع أيضاً داخل المقطع التالي، فتحصل على درجات من كليهما. وعندما تُجمع هذه الدرجات، فإن ما يثقل جملة ما يعتمد جزئياً على ما يثقل جاراتها. قد ترث جملة أعدت كتابتها لتكون أقل قابلية للتنبؤ درجة عالية من مقطع يغطي أيضاً الجملة المجاورة لها، إذا كانت تلك الجارة تحمل أنماطاً تعلم المصنف ربطها بنص الذكاء الاصطناعي.

لهذا السبب تختلف الكواشف في ما بينها على المستند نفسه في كثير من الأحيان. مصنفان تدربا على بيانات مختلفة، ويقطعان عند حدود مختلفة، ويجمعان بطرق مختلفة، سينتجان درجات مختلفة للنص نفسه حتى لو كان كلاهما يتفاعل مع أنماط احتمال الكلمات الأساسية نفسها. هذا الاختلاف ليس ضجيجاً حول قراءة حيرة حقيقية. إنه مصنفان متعلمان مختلفان ينتجان تجميعين مختلفين.

لو كان Turnitin يحسب درجة حيرة لكانت الاستراتيجية مباشرة. كنت ستقيس حيرة نصك، وتعيد الكتابة حتى يتحرك الرقم، ثم تعيد التقديم. الأدوات التي تدّعي "خفض الحيرة" تبيع بالضبط هذا المسار، ونصوصها التسويقية هي مصدر معظم الالتباس حول آلية Turnitin.

لكن إذا كان ما يفعله Turnitin هو تصنيف المقاطع بنموذج تعلّم أنماط احتمال الكلمات إلى جانب أنماط أخرى كثيرة، فإن الاستراتيجية لا تصمد. ليس لديك رقم تحركه. لديك مخرج مصنف يستجيب للتوزيع العام للخصائص المتعلمة في المستند كله، مجموعة عبر نوافذ متداخلة. إعادة كتابة تجعل مقطعاً ما أقل قابلية للتنبؤ بمعزل عن غيره قد تغيّر الدرجات المجمعة التي تغطيه وقد لا تغيّرها، لأن المصنف يقرأ المقطع لا الجملة، والمقطع يشمل ما على جانبيه.

هناك نتيجة ثانية. صفحة الأسئلة الشائعة نفسها تحدد ما ينظر إليه النموذج بوصفه نصاً مؤهلاً:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (هذا النص المؤهل لا يضم إلا جملاً نثرية، أي أننا لا نحلل إلا كتل النص المكتوبة بجمل نحوية قياسية ولا ندرج أنواعاً أخرى من الكتابة مثل القوائم أو النقاط (تراكيب قصيرة غير جملية) أو غيرها من التراكيب غير الجملية.)

والجملة التالية هي: "This percentage is not necessarily the percentage of the entire submission." (هذه النسبة ليست بالضرورة نسبة العمل المُقدَّم بأكمله.) القوائم والنقاط والتراكيب الأخرى غير الجملية تقع خارج التحليل. لذلك فإن إعادة كتابة تحول النثر إلى نقاط لكسر نمط ما لا تخفض درجة حيرة. إنها تزيل النص من الشيء الذي يُقيَّم أصلاً، وتُحسب النسبة على النثر المؤهل المتبقي. هذه عملية مختلفة ذات ملف مخاطر مختلف، ومن المفيد أن تفهم أياً منهما تفعل.

قصة التفاوت والحيرة ليست وليدة الصدفة. إنها تأتي من الأعمال الأكاديمية المبكرة حول كشف نص الذكاء الاصطناعي، حيث استخدم الباحثون هذين المقياسين فعلاً كخاصيتين في مصنفات تجريبية، وحيث كان فرق التوزيع بين نص الذكاء الاصطناعي والنص البشري على هذين المحورين قابلاً للقياس وحدسياً. الكاتب البشري يغيّر طول الجملة أكثر مما يفعل النموذج اللغوي، وخياراته للكلمات أقل قابلية للتنبؤ من خيارات النموذج. التفاوت كان يلتقط الأول، والحيرة كانت تلتقط الثاني.

بقيت القصة لأنها سهلة الشرح، ولأنها تقترح إجراءً واضحاً: نوع طول جملك، واختر كلمات أقل قابلية للتنبؤ. كلاهما أمر معقول. المشكلة أن Turnitin يقول صراحةً إنه لا يبني كاشفه بحساب هذين المقياسين المسميين، فالإجراء الواضح مرتبط بوصف خاطئ لما يفعله الكاشف. وعندما يتطور الكاشف، وكاشف Turnitin قد تطور عدة مرات منذ 2023، يتوقف الإجراء عن مطابقة أي شيء في النظام، لكن النصيحة تستمر في التداول لأن القصة بسيطة ولأن البحث الأصلي الذي جاءت منه كان حقيقياً.

هذا أيضاً سبب ميل أدوات «التأنيس» التي بُنيت لاستهداف الحيرة والتفاوت كمقياسين مسميين إلى فقدان الفعالية مع الوقت. الكاشف الذي صُممت لمواجهته لم يكن تماماً الكاشف الذي يصفه Turnitin، وكلما تكرر نموذج Turnitin اتسعت الفجوة بين ما تستهدفه الأداة وما يقرأه المصنف فعلاً.

أداة HumanPen أداة لإعادة كتابة المستندات، وقرار التصميم المعني هنا هو أننا لا نحاول تحريك مقياس مسمى. نحن نعيد كتابة المقاطع التي حددها تقرير الكتابة بالذكاء الاصطناعي، ونفعل ذلك بتغيير لغة تلك المقاطع فعلياً لا بدفع رقم نفترض أنه يقع تحت التقرير.

والسبب هو ما مشى هذا المقال خلاله. إذا كان المصنف يقرأ أنماط احتمال الكلمات عبر مقاطع متداخلة، فإن ما يغيّر مخرجاته هو تغيير اللغة داخل تلك المقاطع، لا تحريك رقم على لوحة. والأداة التي تخبرك أنها خفضت حيرتك بمقدار معين تخبرك عن رقم حسبته هي، لا عن رقم حسبه Turnitin. الرقم الوحيد الذي ينتجه Turnitin هو النسبة في التقرير، وتلك النسبة تجميع لتصنيفات على مستوى المقاطع، وليست قراءة من مقياس للحيرة.

تُحتسب الفاتورة على الكلمات المعاد كتابتها فعلياً فقط. إذا كان تقرير جديد عن النص المعاد كتابته لا يزال يحدد مقاطع، يمكنك استيراد ذلك التقرير وإعادة تشغيل تلك المقاطع فقط، دون مقابل.

ما لن نخبرك به هو ما سيقوله تقريرك التالي. تقول صفحتنا إن الأداة تهدف إلى الحفاظ على المعنى والبنية والمصطلحات والاقتباسات والتخطيط والأنماط مع إعادة كتابة اللغة الضرورية فقط، ثم تقول إن عليك مراجعة المستندات المعقدة بعد التنزيل. وكلا الشطرين مقصود.

هل يتحقق Turnitin من الحيرة؟ لا كمقياس مسمى. تقول الأسئلة الشائعة لدى Turnitin إن نموذجها "not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions," (غير مبرمج صراحةً لتقييم إشارات محددة مثل "التفاوت" أو "الحيرة" أو مقاييس فردية أخرى يُشار إليها أحياناً في المناقشات العامة،) وتضيف أن "it learns statistical patterns from our training data." (يتعلم أنماطاً إحصائية من بيانات تدريبنا.) وتقول الصفحة نفسها إن مصنفاتها "trained to detect these differences in word probability," (مُدربة على اكتشاف هذه الاختلافات في احتمال الكلمات،) والحيرة مقياس لاحتمال الكلمات. إذن الإشارة موجودة، لكنها لا تُحسب كدرجة مستقلة.

هل يتحقق Turnitin من التفاوت؟ الجواب نفسه. التفاوت، الذي يصف التغير في طول الجملة وبنيتها، ليس مقياساً مسمى في نموذج Turnitin. قد يتعلم المصنف أنماطاً مرتبطة بتغير الجمل كجزء من تدريبه، لكن لا توجد وحدة تحسب رقماً للتفاوت وتقارنه بحد فاصل.

إذن هل الشرح الشائع خاطئ تماماً؟ ليس تماماً. الحدس الكامن وراءه، وهو أن نص الذكاء الاصطناعي أكثر قابلية للتنبؤ من النص البشري من حيث اختيار الكلمات وبنية الجملة، صحيح من حيث الاتجاه. الخطأ هو الادعاء بأن Turnitin يحسب درجتين مسمّتين ويضع علامة على نصك بناءً عليهما. يقول Turnitin إنه لا يفعل ذلك، والآلية التي يصفها بدلاً من ذلك، أي مصنف محولات يقرأ مقاطع متداخلة، بنية مختلفة ذات نقاط ضعف مختلفة.

إذا لم يكن Turnitin يستخدم تلك المقاييس، فماذا يستخدم؟ مصنفاً قائماً على المحولات يقرأ مقاطع متداخلة من نصك، ويعين لكل مقطع احتمال أن يكون مولداً بالذكاء الاصطناعي، ويجمع تلك الدرجات عبر النوافذ المتداخلة، ويجمّعها في نسبة على مستوى المستند. والمصنف مُدرب على أنماط احتمال الكلمات من نصوص بشرية ونصوص ذكاء اصطناعي. وقد تناولنا آليات مستوى المقاطع بمزيد من التفصيل في ما تقيسه كواشف الذكاء الاصطناعي.

لماذا تنجح الأدوات التي تدّعي خفض الحيرة أحياناً على أي حال؟ لأن التغييرات اللغوية التي تخفض درجة حيرة محسوبة، كاستخدام كلمات أقل قابلية للتنبؤ وتنويع البنية، هي أيضاً من نوع التغييرات التي يمكن أن تحرك ما يراه مصنف احتمال الكلمات. الأداة تستهدف المقياس الخطأ، لكن بعض تعديلاتها يغيّر بالصدفة الإشارة الصحيحة. ويظهر هذا التباين مع الوقت: مع كل تكرار للمصنف، ينزلق الارتباط بين المقياس المستهدف للأداة وحدود القرار الفعلية للمصنف، وتفقد الأداة فعاليتها دون أن يطرأ عليها أي تغيير.

هل يعني ذلك أن أتوقف عن محاولة جعل كتابتي أقل قابلية للتنبؤ؟ يعني أن الهدف صحيح والمقياس ليس كذلك. النص الذي يتنوع في بنيته ولا يسقط في أنماط عامة أقل احتمالاً أن يطابق ما تعلّم المصنف أنه يشبه الذكاء الاصطناعي. الخطأ هو في اعتقادك أنك تحرك درجة مسمّاة على قرص مدرّج، بينما الذي تفعله فعلاً هو تغيير اللغة التي يقرأها المصنف عبر نوافذ متداخلة. هذا أمر يستحق العناء، لكنه ليس ما يقول الشرح الشائع إنك تفعله.