رقم Turnitin البالغ 4% للإيجابيات الخاطئة على مستوى الجملة: ماذا كان يعني في 2023؟

وصف شرح Turnitin في يونيو 2023 نحو 4% من الجمل التي سبق تحديدها على أنها مكتوبة بالذكاء الاصطناعي بأنها قد تكون بشرية الكتابة. هذه إحصائية عن جمل محددة بالفعل، وليست احتمالاً معايراً لجملة بعينها في تقريرك اليوم. وليست أيضاً نسبة الجمل التي ستُحدَّد من بين جميع الجمل البشرية.

وصفت كبيرة مسؤولي المنتجات في Turnitin، Annie Chechitelli، الأمر في يونيو 2023 كما يلي:

"Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (معدل الإيجابيات الخاطئة لدينا على مستوى الجملة يبلغ نحو 4%. وهذا يعني أن هناك احتمالاً بنسبة 4% لأن تكون جملة محددة مُعلَّمة على أنها مكتوبة بالذكاء الاصطناعي مكتوبة في الواقع بيد إنسان. وحدوث ذلك أكثر شيوعاً في المستندات التي تخلط بين محتوى مكتوب بيد إنسان ومحتوى مكتوب بالذكاء الاصطناعي، ولا سيما في المواضع الانتقالية بينهما.)

الشرط هنا أن الجملة محددة بالفعل. أما معدل الإيجابيات الخاطئة على مستوى المستند فيسأل عن مدى تكرار استيفاء المستندات البشرية لقاعدة الكشف. المقام مختلف بين الإحصائيتين، فلا يمكن تحويل إحدى النسبتين إلى الأخرى.

يعطي المنشور نفسه الصادر في يونيو 2023 رقماً على مستوى المستند أيضاً:

"Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (معدل الإيجابيات الخاطئة لدينا على مستوى المستند، أي تحديد نص بشري بالكامل خطأً على أنه مولّد بالذكاء الاصطناعي، أقل من 1% عند تطبيق معيار تصنيف المستندات الذي يتطلب نتيجة كشف لكتابة الذكاء الاصطناعي تبلغ 20% أو أكثر.)

قد تُفهم الصياغة خطأً: تشير نسبة 20% إلى ما يبلّغ عنه الكاشف، لا إلى كمية معلومة من نص الذكاء الاصطناعي الموجود فعلاً. تشرح الورقة البيضاء لـ Turnitin الصادرة في أغسطس 2024 قاعدة قرار للمستند تعتمد على تجاوز أكثر من 20% من درجات الجمل عتبة النموذج. وتختبر الإيجابيات الخاطئة على أبحاث طلابية تعود إلى ما قبل 2019، وتصفها بأنها بشرية الكتابة بالكامل. الإيجابية الخاطئة هنا هي تجاوز أحد تلك الأبحاث البشرية عتبة الكشف.

الأبحاث البشرية بالكامل هي بالضبط ما يحتاجه اختبار الإيجابيات الخاطئة على مستوى المستند. استخدام قاعدة الكشف لعتبة 20% لا يستبعدها من الاختبار.

يقول منشور 2023 إن الجمل المحددة خطأً أكثر شيوعاً في المستندات المختلطة، خصوصاً عند الانتقال بين الكتابة البشرية وكتابة الذكاء الاصطناعي. «أكثر شيوعاً» لا تعني «حصراً». ولا تستبعد الجمل المحددة خطأً في عمل بشري بالكامل.

يصف هدف أقل من 1% مدى تكرار استيفاء المستندات البشرية لقاعدة الكشف المحددة، ضمن ظروف اختبار المورّد. ولا يعني أن احتمال كون البحث المحدد بشري الكتابة أقل من 1%. فهذا يعكس الشرط الذي جرى قياسه.

يساعد الرقمان على شرح إمكانية الخطأ. ولا يحدد أي منهما كاتب مقطعك بعينه. راجع النص المحدد ومسار الكتابة بدلاً من اتخاذ أحد المعدلين حكماً.

قدمت Turnitin نقطة بيانات محددة عن موضع ظهور هذه الجمل التي جرى تعليمها خطأً:

"As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (كما شرحت في مقالتي السابقة، ثمة علاقة بين هذه الجمل ومدى قربها داخل المستند من الكتابة الفعلية بالذكاء الاصطناعي. وفي 54% من الحالات، تقع هذه الجمل ملاصقة تماماً للكتابة الفعلية بالذكاء الاصطناعي.)

المقصود بهذه الجمل هو الجمل البشرية التي جرى تحديدها خطأً. وبحسب شرح 2023، كان 54% منها ملاصقاً لنص فعلي كتبه الذكاء الاصطناعي. هذا وصف لتركّز ملحوظ للأخطاء، وليس قاعدة تغطي كل إيجابية خاطئة.

لا يتيح هذا الرصد تشخيص سبب تحديد نص في بحثك. فهو لا يثبت وجود نص ذكاء اصطناعي قريب، ولا يستبعد الخطأ عند غيابه. استخدم المقاطع المحددة لتوجيه المراجعة؛ إحصاءات التجاور لا تثبت هوية الكاتب.

يوضح المنشور نفسه أن التعليم هو نقطة انطلاق لا نتيجة، ويوجّه هذا القول للمدرسين، وهم من تريد أنت أن يقرأوه:

"Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (اعتبر الجمل المُعلَّمة مناطق تستحق الاهتمام، لأن المتوقع أن تكون قريبة من الموضع الذي توجد فيه الكتابة بالذكاء الاصطناعي. لكن في نسبة صغيرة من الحالات قد يخطئ نموذج الذكاء الاصطناعي. لذا استخدم هذه المعلومة لبدء حوار، لا لاستخلاص نتيجة.)

كما يستبعد الأمر الذي يفترض الطلاب في أغلب الأحيان أنهم يُقاسون على أساسه. ليس هناك رقم مطالب ببلوغه:

"Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (تذكّر أنه لا توجد درجة «صحيحة» ولا درجة «مستهدفة» في مؤشر الكتابة بالذكاء الاصطناعي، تماماً كما هو الحال مع Similarity Score.)

لا شيء مما سبق يقول لك ما إذا كنت في ورطة، لأن أي رقم منشور لا يفعل ذلك. أما ما يقدمه لك فهو طريقة لإبقاء الحوار على التقرير نفسه بدلاً من نسبة مئوية.

• اسأل عن المقاطع المعنية، واحصل على التقرير لا على لقطة شاشة. الجملتان المُعلَّمتان والرقم على مستوى المستند شيئان مختلفان، والتعليمات هي الجزء الوحيد الذي له موضع يمكنك الإشارة إليه.
• اسأل عن المعدل المقتبس وما الذي يقيسه. تتعلق عتبة 20% بمخرجات الكاشف. يُقاس معدل الإيجابيات الخاطئة على مستوى المستند في أعمال بشرية، وليس احتمال أن يكون بحثك المحدد بعينه بشري الكتابة.
• خذ معك تعليمات Turnitin نفسها. فهي تقول للمدرسين إن عليهم أن يستخدموا التعليم لبدء حوار، لا للوصول إلى نتيجة. وتلك الجملة موجهة إلى الشخص الذي يمسك تقريرك، وقد اقتبسناها أعلاه كلمة بكلمة.
• احتفظ بما يُظهر كيف كُتب البحث — المسودات، وسجل الإصدارات، والملاحظات، والقراءات التي قمت بها. ذلك دليل على المؤلف، أما النسبة المئوية فليست كذلك.