معدل الإيجابيات الكاذبة في Turnitin: شرح مفصّل

تذكر Turnitin هدفها صراحةً في توثيقها: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى إلى تحسين فعالية الكاشف وإبقاء معدل تصنيف النص البشري بالكامل خطأً على أنه مولّد بالذكاء الاصطناعي دون 1%، وفق شرط كشف للمستند يتجاوز فيه المحتوى المصنّف ككتابة آلية 20%.)

يتعلق شرط 20% بمخرجات الكاشف، لا بكمية مؤكدة من نص الذكاء الاصطناعي في الورقة. تصف الورقة البيضاء الصادرة في أغسطس 2024 من Turnitin قاعدة للمستند: أن تتجاوز درجات أكثر من 20% من الجمل عتبة النموذج. ويستخدم اختبار الإيجابيات الكاذبة أوراقًا تصفها الشركة بأنها بشرية بالكامل. والخطأ الذي يُحسب هو تجاوز ورقة بشرية عتبة الكشف هذه.

يسأل معدل الإيجابيات الكاذبة على مستوى المستند عن مدى تكرار تفعيل المستندات البشرية لقاعدة الكشف. ولا يعطي احتمال أن تكون ورقة سبق تحديدها بشرية. فالشرط معكوس بين السؤالين، ولا تكفي نتيجة الاختبار وحدها للإجابة عن الثاني. حتى النتيجة المرتفعة تحتاج إلى مراجعة: هل يمكن أن تكون نتيجة Turnitin للذكاء الاصطناعي 100% ومع ذلك يكون النص بشريًا؟

تصف الأسئلة الشائعة من Turnitin الاختبارات وراء الهدف: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (لتعزيز إطار اختبارنا وتشخيص الاتجاهات الإحصائية للإيجابيات الكاذبة، نُجري قبل كل تحديث أو إصدار نموذج جديد اختبارات على أكثر من 700 ألف ورقة أكاديمية إضافية كُتبت قبل إطلاق ChatGPT لمواصلة التحقق من صحة معدل إيجابيات كاذبة أقل من 1%.)

تذكر العبارة مجموعة اختبار كبيرة وأوراقًا سابقة لإطلاق ChatGPT، وتقول إن الاختبارات تسبق كل تحديث أو نموذج جديد. لكنها لا تقول إن أوراقًا جديدة تُجمع في كل مرة. وتصف الورقة البيضاء الصادرة في أغسطس 2024، بصورة منفصلة، مجموعة بيانات سابقة لعام 2019 لاختبار الضغط بأنها بشرية بالكامل.

عند الاستشهاد بالمعدل، اذكر معه عتبة الكشف ومجموعة الاختبار. لا حجم المجموعة ولا قِدمها يحوّلان النتيجة إلى ضمان لكل تخصص أو أسلوب كتابة أو مستند منفرد.

أهم جزء في التوثيق ليس هدف الـ 1% بحد ذاته، بل المفاضلة التي تقبلها Turnitin صراحةً لتحقيقه. ينص البيان الكامل على ما يلي: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (من أجل الحفاظ على هذا المعدل المنخفض البالغ 1% للإيجابيات الكاذبة، هناك احتمال أن نفوّت بعض النصوص المكتوبة بالذكاء الاصطناعي في مستند. نحن مرتاحون لذلك لأننا لا نريد تحديد النص المكتوب بشريًا خطأً على أنه مكتوب بالذكاء الاصطناعي. على سبيل المثال، إذا حدّدنا أن 50% من مستند كُتب على الأرجح بواسطة أداة ذكاء اصطناعي، فقد يحتوي في الواقع على ما يصل إلى 65% كتابة بالذكاء الاصطناعي.)

توضح الشركة مفاضلتها: تقبل تفويت بعض نصوص الذكاء الاصطناعي لتقليل خطر تحديد النص البشري خطأً. يفسر ذلك قرار التصميم، لكنه لا يحدد نوع الخطأ الذي وقع في تقرير فردي.

يوضح مثال 50% و65% احتمال التقليل من النسبة. وليس معادلة تحويل أو حدًا أعلى للمستندات الأخرى أو دليلًا على أن كل خطأ يسير في الاتجاه نفسه. ويقر التوثيق نفسه بإمكان تصنيف النص البشري خطأً على أنه مولّد بالذكاء الاصطناعي.

بمجرد إبقاء القيد ملازمًا، يصبح «معدل الإيجابيات الكاذبة» أداة أدق من النسخة المختصرة التي تظهر في العناوين. إليك ما تعنيه الأرقام الموثَّقة فعليًا.

أولًا، ميّز بين نسبة الذكاء الاصطناعي المبلّغ عنها وهوية الكاتب الفعلية. حد 20% جزء من قاعدة كشف. وقد تتجاوزه ورقة بشرية بالكامل؛ وهذه هي الإيجابية الكاذبة التي صُمم الاختبار لحسابها.

ثانيًا، تفويت نصوص الذكاء الاصطناعي جزء من التصميم. لأن النظام يضبط نفسه ضد الإيجابيات الكاذبة، يتسلل بعض نصوص الذكاء الاصطناعي. نتيجة ليست عالية لا تعني بالضرورة أن المستند بشري بالكامل. قد تعني أن محتوى الذكاء الاصطناعي قُدِّر بأقل من قيمته.

ثالثًا، قبول تفويت بعض نصوص الذكاء الاصطناعي لا يثبت أن النتيجة المرتفعة أكثر موثوقية في حالتك. المثال المقتبس لا يقيس موثوقية نتيجة 80%. وما زلت بحاجة إلى فحص المقاطع والأدلة على كيفية كتابتها.

النتيجة المنخفضة لا تثبت التأليف البشري، والمرتفعة لا تثبت سوء السلوك الأكاديمي. والمفاضلة المقتبسة لا تقارن وحدها بين تكرار التفويت والإيجابيات الكاذبة في سياقك. راجع ما يُقال لمدرّسك ليفعله عندما تكون نسبة الذكاء الاصطناعي عالية.

تضع توجيهات Turnitin نفسها النتيجة داخل إطار قرار أوسع. ينص التوثيق على: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (قد لا يكون نموذج كشف الكتابة بالذكاء الاصطناعي دقيقًا دائمًا (قد يخطئ في تحديد النص المكتوب بشريًا أو المولَّد بالذكاء الاصطناعي أو المعاد صياغته بالذكاء الاصطناعي)، لذا لا ينبغي استخدامه كأساس وحيد لإجراءات سلبية ضد طالب.)

ويستمر: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (يتطلب الأمر مزيدًا من التدقيق والحكم البشري بالاقتران مع تطبيق المؤسسة لسياساتها الأكاديمية المحددة لتحديد ما إذا كان قد حدث سوء سلوك أكاديمي.)

هذا هو الإطار الذي يُفترض بالطلاب والمربّين العمل ضمنه. النسبة المئوية نقطة بيانات. والحكم قرار يتخذه البشر: المدرّس، القسم، المؤسسة، بتطبيق سياساتهم الأكاديمية الخاصة. تقول Turnitin نفسها إن النتيجة لا ينبغي أن تحمل القرار وحدها. تدير الشركة أيضًا قناة للخطأ نفسه: كيفية الإبلاغ عن إيجابية كاذبة لـ Turnitin.

إذا اختلفتَ مع نتيجة ما، فالطريق الموثَّق هو التعامل مع الرقم كنقطة بيانات واحدة ومناقشته مع الشخص الذي يملك السياق الأكاديمي — مدرّسك. هذه هي الخطوة التي تصفها المستندات الرسمية، وهي الخطوة الأكثر اتساقًا مع تأطير الشركة نفسه. وإذا لم يحسم ذلك الأمر، فإن كيفية الطعن في علامة كشف ذكاء اصطناعي خاطئة، وما الدليل الذي ستقبله جامعتك يوضح ما يلي.

احتفظ بالتقرير الأصلي وسجلات الكتابة لهذه المناقشة. وإذا قررت تعديل المستند لاحقًا، فإن سير عمل HumanPen المستند إلى التقرير يعالج المقاطع المحددة؛ ولا يحكم على صحة التحديد الأصلي.