هل يمكن لنص كتبه إنسان أن يحصل على درجة 100% في كشف الذكاء الاصطناعي من Turnitin؟

نعم، من الممكن أن يحصل مستند مكتوب بيد إنسان بالكامل على درجة 100% في الذكاء الاصطناعي. وتقول وثائق Turnitin نفسها إن النموذج "may not always be accurate" (قد لا يكون دقيقًا دائمًا)، وإن مؤشر الكتابة بالذكاء الاصطناعي "should not be used as the sole basis for action." (لا ينبغي استخدامه كأساس وحيد لاتخاذ أي إجراء). كما تعدد صفحة الأسئلة الشائعة خصائص محددة للنص تجعله عرضة للنتائج الإيجابية الكاذبة، من بينها محتوى لا يتباين بناؤه كثيرًا، ونص يعيد تكرار نفسه، ونص أُعيدت صياغته دون أن يطرح أفكارًا جديدة. والدرجة 100% لا تعني أن الكاشف متأكد من أنك استخدمت ذكاءً اصطناعيًا؛ بل تعني أن تصنيف النموذج لمقاطع نصك أنتج قيمًا احتمالية بلغ مجموعها 100%. أما ما إذا كانت هذه النتيجة صحيحة، فأمر يعتمد على عوامل لا تكشفها الدرجة نفسها.

جاء في صفحة الأسئلة الشائعة لدى Turnitin:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (ولذلك نؤكد أن النسبة المئوية التي يظهرها مؤشر الكتابة بالذكاء الاصطناعي لا ينبغي أن تُستخدم كأساس وحيد لاتخاذ إجراء، ولا كمعيار نهائي للدرجات من قِبل المدرّسين.)

وتعبّر مقالة مساعدة أخرى عن الأمر بصورة أكثر مباشرة:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (قد لا يكون نموذج الكشف عن الكتابة بالذكاء الاصطناعي لدينا دقيقًا على الدوام (إذ قد يخطئ في تصنيف نص كتبه إنسان، أو نص مُولَّد بالذكاء الاصطناعي، أو نص أُعيدت صياغته بالذكاء الاصطناعي)، ولذلك لا ينبغي استخدامه كأساس وحيد لاتخاذ إجراءات سلبية بحق الطالب.)

وتقول الجملة التالية في المقالة نفسها: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (الأمر يتطلب مزيدًا من الفحص والتدقيق وحكمًا بشريًا، إلى جانب تطبيق المؤسسة لسياساتها الأكاديمية الخاصة، حتى يتسنى تحديد ما إذا كانت قد وقعت مخالفة أكاديمية.)

وتنشر Turnitin كذلك صفحة إرشادية موجّهة للمدرّسين تتعامل مع الدرجة بوصفها مدخلًا واحدًا من بين مدخلات عدة:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (الغرض من الدرجة ليس تقديم إجابات نهائية بمفردها. وأهم من أي أداة هو المدرّس الذي يرى الدرجة ويتخذ قراره موازنًا بين هذه المعلومة ومعرفته الشخصية بطلابه وبعملهم وبسياسة المؤسسة.)

إذا قرأت هذه العبارات مجتمعة، فهي تقول ثلاثة أمور: النموذج قد يخطئ؛ والدرجة نقطة بيانات واحدة، وليست حكمًا نهائيًا؛ وتحديد ما إذا كانت قد وقعت مخالفة يتطلب حكمًا بشريًا يتجاوز الدرجة نفسها.

تعدد صفحة الأسئلة الشائعة في Turnitin خصائص محددة للنص قد تُنتج نتائج إيجابية كاذبة:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (قد تشمل النتائج الإيجابية الكاذبة أحيانًا — أي تمييز نص كتبه إنسان خطأً على أنه مُولَّد بالذكاء الاصطناعي — محتوى لا يتباين بناؤه كثيرًا، أو نصًا يعيد تكرار نفسه حرفيًا، أو نصًا أُعيدت صياغته دون تطوير أفكار جديدة.)

وتقول الجملة التالية: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (إذا أظهر مؤشرنا قدرًا أكبر من الكتابة بالذكاء الاصطناعي في هذا النوع من النصوص، فننصحك بأن تأخذ ذلك في الاعتبار عند النظر إلى النسبة المئوية الموضحة.)

هذه الجملة مهمة؛ فـ Turnitin تقول للمدرّسين إن الدرجة المرتفعة على أنواع معينة من النصوص ينبغي النظر إليها بحذر. فإذا كان بناء جملك متشابهًا، أو كنت تكرر الصياغات نفسها، أو تعيد صياغة الكلام دون أن تضيف تحليلًا جديدًا، فإن نصك يشترك في الخصائص مع نصوص تقول Turnitin نفسها إنها عرضة للنتائج الإيجابية الكاذبة. وهذا لا يثبت أن درجتك خاطئة، لكنه يقدّم لك تفسيرًا ملموسًا لسبب حصول نص كتبه إنسان على درجة 100%.

لطول المستند أثر أيضًا؛ إذ تصف صفحة الأسئلة الشائعة في Turnitin سلوكًا محددًا في المستندات القصيرة:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات القصيرة التي لا تتجاوز بضع مئات من الكلمات، سيكون التنبؤ في معظمه على طريقة "الكل أو اللاشيء"؛ لأننا نبني التنبؤ على مقطع واحد، دون فرصة للتداخل بين المقاطع.)

وتقول الجملة التالية: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (وهذا يعني أن بعض النصوص التي تمزج بين محتوى مُولَّد بالذكاء الاصطناعي ومحتوى أصلي قد تُميَّز بأكملها على أنها مُولَّدة بالذكاء الاصطناعي.)

وتضيف ملاحظة إصدار صادرة في ديسمبر 2023: "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (تُظهر النتائج أن دقتنا تزداد كلما توفر قدر أكبر قليلًا من النص، ولذلك فإن المستندات التي تحتوي على أقل من 300 كلمة قد تُسفر عن درجة كتابة بالذكاء الاصطناعي يُرجَّح أن تكون أقل دقة.)

إذا كان مستندك قصيرًا، فالدرجة 100% أقرب إلى أن تكون أثرًا جانبيًا لتصنيف "الكل أو اللاشيء" منها إلى قياس دقيق؛ فالكاشف يعمل هنا على عدد أقل من المقاطع، وتتاح له فرصة أقل للتداخل، وبيانات أقل يمكن أخذ متوسطها. وبضع مئات من الكلمات كتبها إنسان، وتشترك بالمصادفة في أنماط إحصائية مع النصوص المُولَّدة بالذكاء الاصطناعي، قد تُميَّز بأكملها على أنها ذكاء اصطناعي. وتجد شرح آلية العمل على مستوى المقاطع في لماذا تقول Turnitin إن عملك ذكاء اصطناعي بنسبة 100%.

وتقرّ صفحة الأسئلة الشائعة في Turnitin بوجود مقايضة مقصودة في طريقة تعاملها مع النتائج الإيجابية الكاذبة:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (للحفاظ على هذا المعدل المنخفض البالغ 1% للنتائج الإيجابية الكاذبة، ثمة احتمال بأن يفوتنا جزء من النص المكتوب بالذكاء الاصطناعي داخل المستند. ونحن مرتاحون لهذا؛ لأننا لا نريد أن نُميّز نصًا كتبه إنسان خطأً على أنه مكتوب بالذكاء الاصطناعي. فعلى سبيل المثال، إذا حدّدنا أن 50% من المستند يُرجَّح أنه كُتب بأداة ذكاء اصطناعي، فقد يكون ما يحتويه من كتابة بالذكاء الاصطناعي في الواقع ما يصل إلى 65%.)

الاتجاه واضح: Turnitin تفضّل أن يفوتها نص مُولَّد بالذكاء الاصطناعي على أن تتهم كاتبًا من البشر ظلمًا. لكن الخطأ المعاكس — أي تمييز نص بشري خطأً على أنه ذكاء اصطناعي — ما زال يحدث بمعدل تصفه الشركة بأنه أقل من 1% في المستندات التي تتجاوز نسبة الكتابة بالذكاء الاصطناعي فيها 20%. وهذا المعدل ليس صفرًا: ففي فصل دراسي يضم 200 طالب يقدّمون جميعًا أبحاثًا مكتوبة بأيديهم، قد يحصل طالب أو طالبان على تمييز بالذكاء الاصطناعي وفق الهدف الذي وضعته الشركة لنفسها. وتوضح ما يعنيه معدل 1% للنتائج الإيجابية الكاذبة عندما تقدّم جامعة 75,000 بحث كيف تتضخم هذه الحسبة عند هذا الحجم.

خلاصة ما تناولناه:

• تقول وثائق Turnitin نفسها إن النموذج "may not always be accurate" (قد لا يكون دقيقًا دائمًا)، وإن الدرجة لا ينبغي أن تُستخدم "as the sole basis for action." (كأساس وحيد لاتخاذ أي إجراء).
• بعض أنماط النص أكثر عرضة للنتائج الإيجابية الكاذبة: ضعف التباين في البناء، والتكرار، وإعادة الصياغة دون أفكار جديدة.
• المستندات القصيرة (بضع مئات من الكلمات) تخضع لتنبؤات "الكل أو اللاشيء"، وقد تكون أقل دقة.
• الهدف الرسمي للنتائج الإيجابية الكاذبة هو أقل من 1% في المستندات التي تتجاوز نسبة الذكاء الاصطناعي فيها 20%، وهذا ليس صفرًا.
• تنصح Turnitin المدرّسين بالتعامل مع الدرجة بوصفها نقطة بيانات واحدة، لا إجابة نهائية.

إذا حصلت على درجة 100% وكنت قد كتبت النص بنفسك، فلديك ما تستند إليه في حديثك مع مدرّسك، وتشرح مقالة مُميَّز، لكنك كتبته بنفسك كيف تستعد لهذا الحديث. كما تمنحك الإقرارات الرسمية عبارات محددة يمكنك استخدامها. وإن كان لديك تقرير من Turnitin وتريد العمل على المقاطع التي تم تمييزها، يمكنك استيراد التقرير ومعالجتها مباشرة. أما المقاطع المؤهلة فيمكن إعادة تشغيلها مجانًا.