هل يكتشف Turnitin نصوص Mistral AI؟ ما تقوله الوثائق

تحافظ Turnitin على قائمة منشورة بالنماذج التي يستطيع نموذج كشف الكتابة بالذكاء الاصطناعي تمييز مخرجاتها. وتشمل هذه القائمة GPT وGemini وClaude وLLaMA وMistral وDeepseek وNova وGrok وo1-mini، وكذلك الأدوات المبنية على هذه النماذج اللغوية. ويأتي LLaMA بجوار Mistral للسبب نفسه: كلاهما مفتوح الأوزان، وهل يكتشف Turnitin نموذج LLaMA يعالج الأمر بالقراءة نفسها. أما الصياغة فواضحة ومباشرة: يستطيع نموذج كشف الكتابة بالذكاء الاصطناعي من Turnitin للإرساليات بالإنجليزية اكتشاف المحتوى الصادر عن هذه النماذج.

وتضيف الوثائق أيضاً: "We will continue to expand our detection capabilities to other models in the future." (سنواصل توسيع قدراتنا على الكشف لتشمل نماذج أخرى في المستقبل.) إذن القائمة ليست ثابتة، بل تتسع كلما طُرحت نماذج جديدة وحُدِّث نظام الكشف ليتعرف على مخرجاتها.

أما بالنسبة إلى Mistral تحديداً، فإجابة سؤال «هل يكتشفه Turnitin؟» هي نعم، إنه في القائمة. لكن ما يعنيه «الكشف» عملياً يتضمن عملية أكثر تعقيداً.

إن فهم ما يحدث عند إرسال مستند يساعد على تفسير سبب ظهور النتائج بهذه الصورة. وإليك الآلية التي تصفها Turnitin:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عند إرسال ورقة بحثية إلى Turnitin، تُستخرج الجمل من الإرسالية وتُقسَّم إلى مقاطع متداخلة لأغراض تحليل التنبؤ. ويُصنَّف كل مقطع بواسطة نموذج كشف الذكاء الاصطناعي ويُعطى قيمة بين 0 و1، تعبّر عن احتمال أن يكون النص بشرياً أو مُنشأً بالذكاء الاصطناعي. وترث كل جملة مستوفية داخل هذه المقاطع درجة المقطع. ولأن المقاطع تتداخل، قد تحمل بعض الجمل درجات متعددة تُجمَع بعد ذلك في درجة واحدة. ثم تُجمَع هذه الدرجات على مستوى الجملة وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند ككل.)

لا يبحث النظام عن سمة كاشفة واحدة. بل يقسّم نصك إلى مقاطع، ويقيّم كل مقطع من حيث احتمال كونه من إنتاج الذكاء الاصطناعي، ويجمع درجات الجمل المتداخلة، ثم يجمع كل ذلك في نسبة مئوية واحدة على مستوى المستند.

وتوضح الوثائق أيضاً ما لا يفعله النموذج. فهو لا يعتمد على مقاييس محددة بعينها مثل burstiness أو perplexity، وهو نفي نفككه في هل يستخدم Turnitin مقياسي perplexity وburstiness لكشف الذكاء الاصطناعي: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (نموذجنا غير مبرمج صراحةً لتقييم إشارات محددة مثل 'burstiness,' 'perplexity,' أو مقاييس فردية أخرى يُشار إليها أحياناً في المناقشات العامة.) وبدلاً من ذلك، يتعلم النموذج أنماطاً إحصائية من بيانات التدريب. وتُدرَّب المصنفات على رصد الفروق في احتمال الكلمات، وهي بارعة في التقاط تسلسلات احتمال الكلمات التي تميز الكتّاب من البشر.

هذا يعني أن الكشف احتمالي لا حتمي. فالدرجة تعبر عن مدى ثقة النموذج في أن النص يشبه أنماطاً ولّدها الذكاء الاصطناعي، لا عن حكم ثنائي قاطع.

إن وجود النموذج في قائمة النماذج القابلة للكشف لا يعني أن كل جملة ولّدها الذكاء الاصطناعي ستُكتشف. فـTurnitin يعطي الأولوية لإبقاء الإيجابيات الخاطئة منخفضة، وهذه المقايضة لها ثمن على الجانب الآخر.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (للحفاظ على هذا المعدل المنخفض البالغ 1% للإيجابيات الخاطئة، ثمة احتمال بأن نفوت بعض النص المكتوب بالذكاء الاصطناعي في المستند. ونحن مرتاحون لذلك، لأننا لا نريد أن نُعلّم نصاً كتبه إنسان على أنه كُتب بالذكاء الاصطناعي عن طريق الخطأ. على سبيل المثال، إذا حدّدنا أن 50% من المستند كُتب على الأرجح بأداة ذكاء اصطناعي، فقد يحتوي في الواقع على ما يصل إلى 65% من الكتابة بالذكاء الاصطناعي.)

لذا قد يحصل مستند أُرسل وفيه نص من إنتاج Mistral على درجة أدنى من النسبة الفعلية لمحتوى الذكاء الاصطناعي. فقد يحدّد الكاشف 50% على أنها مكتوبة بالذكاء الاصطناعي في حين أن النسبة الحقيقية أقرب إلى 65%. وهذا مقصود: فالنظام يميل إلى عدم تعليم النص البشري، ما يعني أن جزءاً من نص الذكاء الاصطناعي سيمر دون تعليم.

تكتسب هذه الفجوة أهميتها إذا كنت تحاول فهم سبب حصول مستند معروف احتوائه على محتوى من الذكاء الاصطناعي على درجة أدنى من المتوقع. والحساب الكامن وراء هذا الهدف البالغ 1% مشروح بالتفصيل في ما يعنيه معدل إيجابيات خاطئة بنسبة 1%.

النموذج الذي يكتشف نصوص Mistral اليوم ليس بالضرورة هو نفسه الذي سيعمل الشهر القادم. وتقرّ وثائق Turnitin بذلك:

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (مع استمرارنا في تحسين نموذجنا وتطويره لاكتشاف النماذج اللغوية الأحدث بشكل أفضل، من المرجح أن تتغير قدراتنا على الكشف أيضاً، مما يؤثر على نسبة الذكاء الاصطناعي. ومع ذلك، بالنسبة إلى مستند سبق إرساله، لن تتغير نسبة الذكاء الاصطناعي إلا إذا أُعيد إرساله لمعالجته.)

يترتب على هذا أمران عمليان. أولاً، قد يحصل المستند نفسه على درجات مختلفة إذا أُعيد إرساله بعد تحديث النموذج، ولهذا فإن مقارنة تقريرين أفضل من مقارنة درجتين. ثانياً، بمجرد معالجة المستند، تبقى الدرجة المُعلَنة ثابتة ما لم يمر بالنظام مرة أخرى. وإذا كنت تقارن الدرجات عبر الزمن، فقد تعكس الفروق تحديثات النموذج لا تغييرات في المستند نفسه.

Mistral عائلة من النماذج، وليس منتجاً واحداً ثابتاً. فالأدوات المبنية على نماذج Mistral، أو النسخ المضبوطة من Mistral، مشمولة أيضاً بصياغة Turnitin "tools based on these LLMs" (الأدوات المبنية على هذه النماذج اللغوية). ولا يحدّد نموذج الكشف Mistral بالاسم في التقرير. بل ينتج درجة واحدة للكتابة بالذكاء الاصطناعي على مستوى المستند، قائمة على أنماط إحصائية، دون تفصيل حسب نموذج بعينه.

هذا يعني أن التقرير لن يقول "30% Mistral, 10% GPT". بل سيقول شيئاً مثل "40% من إنتاج الذكاء الاصطناعي"، أي درجة مجمّعة. وتخبرك قائمة النماذج بعائلات النماذج التي دُرِّب الكاشف على التعرف عليها، لا بأي نموذج بعينه أنتج أي فقرة. أما ما يعرضه التقرير فعلاً على الصفحة فمشروح في كيف تقرأ تقرير AI Writing Report من Turnitin.

إذا كنت تتعامل مع نص من إنتاج Mistral وتحتاج إلى فهم كيف سيتعامل معه Turnitin، فإليك الخلاصة:

• نعم، يمكن كشف Mistral. فهو يظهر في قائمة النماذج المنشورة، والأدوات المبنية على Mistral مشمولة أيضاً.
• الكشف احتمالي. فالنظام يقسّم النص، ويقيّم كل مقطع من حيث احتمال كونه من إنتاج الذكاء الاصطناعي، ثم يجمع الدرجات في نسبة مئوية واحدة. ولا يستخدم burstiness أو perplexity.
• جزء من نص الذكاء الاصطناعي لن يُكتشف. فإبقاء الإيجابيات الخاطئة دون 1% في المستندات التي تتجاوز 20% من الكتابة بالذكاء الاصطناعي يجعل الكاشف يقلل من تقدير المحتوى الفعلي للذكاء الاصطناعي.
• الدرجات قابلة للتغير. فإذا حُدِّث النموذج وأُعيد إرسال المستند، فقد تتغير الدرجة. وتبقى الدرجة الناتجة عن إرسال سابق ثابتة إلى أن تتم معالجته من جديد.
• لا يوجد تفصيل حسب النموذج. فالتقرير يعرض نسبة إجمالية للذكاء الاصطناعي، لا نسبة منسوبة إلى كل نموذج.

يمكن إعادة تشغيل المقاطع المستوفية للشروط مجاناً.