ما مدى دقة نتيجة الذكاء الاصطناعي من Turnitin في المستندات القصيرة؟
إذا كان بحثك لا يتجاوز بضع مئات من الكلمات، فإن نتيجة الذكاء الاصطناعي من Turnitin تتصرف بشكل مختلف عما تفعله في مقال طويل. تقول Turnitin نفسها إن التنبؤ في المستندات القصيرة يكون في معظمه "all or nothing" (إما كل شيء أو لا شيء)، لأن ما يُفحص هو مقطع واحد فقط. وأقل من 300 كلمة لا توجد نتيجة على الإطلاق: متطلبات الملفات هي التي تحدد هذا الحد الأدنى. يشرح هذا المقال التصريحات الرسمية، وسبب احتمال أن يبدو المحتوى المختلط وكأنه مولّد بالذكاء الاصطناعي بالكامل، وكيفية قراءة نتيجة مستند قصير دون مبالغة في رد الفعل.
فريق HumanPen
· مدة القراءة: 4 د
ما تقوله Turnitin عن الأعمال القصيرة
صياغة Turnitin نفسها عن المستندات القصيرة مباشرة: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات الأقصر التي لا تحتوي إلا على بضع مئات من الكلمات، سيكون التنبؤ في معظمه «إما كل شيء أو لا شيء»، لأننا نتوقع بناءً على مقطع واحد دون فرصة للتراكب.)
تأتي هذه الجملة من الأسئلة الشائعة في Turnitin عن اكتشاف الكتابة بالذكاء الاصطناعي. وهي تصف ما يحدث للتنبؤ عندما لا يكون هناك نص كافٍ: النموذج لا يتردد، بل يحسم أمره. والبحث القصير يُحكم عليه ككل في الغالب، لا جملة بجملة.
هذا مهم لأن معظم ما يفترضه الناس عن نتائج الذكاء الاصطناعي مستمد من المقالات الطويلة. في المستند الطويل، يعمل الكاشف عبر مقاطع عديدة ويمكن للنسبة المئوية أن تعكس مزيجًا. أما في المستند القصير فالمجال أضيق لمثل هذه الفروق الدقيقة.
لماذا تأتي النتيجة إما كل شيء أو لا شيء
السبب يكمن في الآلية. تصفها Turnitin على هذا النحو: "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (تُستخرج جمل العمل المقدَّم وتُقسَّم إلى أقسام متراكبة لتحليل التنبؤ. ويُصنَّف كل قسم بواسطة نموذج اكتشاف الذكاء الاصطناعي وتُعطى له قيمة بين 0 و1، تدل على احتمال أن يكون النص بشريًا أو مولّدًا بالذكاء الاصطناعي.)
في البحث الطويل، تمنح هذه الأقسام المتراكبة النموذج فرصًا عديدة للنظر إلى الجمل نفسها من زوايا مختلفة. تُجمع نتائج الجمل ثم تُجمَّع في نتيجة المستند، وهو ما ينعّم النتيجة — وهو التجميع نفسه الموضح في ما الذي يتحقق منه اكتشاف الذكاء الاصطناعي في Turnitin وكيف تُبنى النتيجة.
مع بضع مئات فقط من الكلمات، يكون هناك في الواقع قسم واحد. لا تراكب، ولا جمع لعدة زوايا نظر. ترث نتيجة المستند حكم تصنيف واحد، ولهذا يخرج التنبؤ أقرب إلى «الكل» أو «اللا شيء» مما هو قريب من أي نقطة بينهما.
يمكن احتساب المحتوى المختلط كما لو كان مولّدًا بالذكاء الاصطناعي بالكامل
النتيجة مُبيَّنة في جملة Turnitin التالية: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (وهذا يعني أن بعض النصوص التي تمزج محتوى مولّدًا بالذكاء الاصطناعي ومحتوى أصليًا يمكن أن تُعلَّم بوصفها مولّدة بالذكاء الاصطناعي بالكامل.)
لذلك، في بحث قصير، يمكن أن تُحتسب صفحة مكتوبة في معظمها بيدك وتحتوي على مقطع مولّد بالذكاء الاصطناعي كما لو أن كل ما فيها من صنع الذكاء الاصطناعي. لا يملك النموذج من الأقسام ما يكفي للفصل بين الأمرين. هو لا يقول إن كل جزء من المستند مولّد بالذكاء الاصطناعي؛ بل يقول إن التنبؤ انهار في حكم واحد — وهي إحدى الطرق التي يمكن بها أن تكون نتيجة 100% من Turnitin لنص كتبه إنسان.
لهذا السبب يمكن لبحثين قصيرين يحملان النسبة الحقيقية نفسها من النص المولّد بالذكاء الاصطناعي أن يبدوَا مختلفين تمامًا. النتيجة ليست قياسًا دقيقًا لكمية ما في المستند من نص مولّد بالذكاء الاصطناعي. إنها تنبؤ أُجري على مادة محدودة.
ما دون 300 كلمة لا توجد نتيجة لقراءتها
ثمة جملة يقتبسها الناس هنا، والمهم هو مصدرها. كتبت Turnitin، في ملاحظة إصدار مؤرخة 15 ديسمبر 2023: "our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (تزداد دقتنا مع قدر أكبر قليلًا من النص، لذا فإن الأعمال التي تقل عن 300 كلمة قد تُسفر عن نتيجة كتابة بالذكاء الاصطناعي أرجح أن تكون أقل دقة.) عنوان هذه الملاحظة هو "AI writing detection processing bug fix," (إصلاح خلل في معالجة اكتشاف الكتابة بالذكاء الاصطناعي)، والفقرة التي تسبق الجملة تقول "This issue has now been resolved," (تم حل هذه المشكلة الآن)، والخلل كان أن الأعمال التي تقل عن 300 كلمة كانت تُعالَج أصلًا. وتصف هذه الجملة التقارير التي أُنشئت بين 6 و15 ديسمبر 2023.
وهذا ما يجعل تطبيقها اليوم أمرًا صعبًا. بعد إصلاح الخلل، لا يحصل عمل يقل عن 300 كلمة من النثر على نتيجة أقل دقة. بل لا يحصل على نتيجة على الإطلاق. تقول متطلبات الملفات الحالية إن الملف "must have at least 300 words of prose text in a long-form writing format," (يجب أن يحتوي على 300 كلمة من النص النثري في صيغة كتابة طويلة على الأقل)، فإذا كنت دون هذا الحد وتتأهب لنسبة غير موثوقة، فما ستراه فعليًا هو غياب أي AI Writing Report. أما مقدار ما يُحسب من العمل نصًا فهو مسألة أخرى، مُعالَجة في ما هو النص المؤهل في اكتشاف الذكاء الاصطناعي من Turnitin.
إذا كنت تنظر إلى عمل قصير جدًا، فينبغي التعامل مع الرقم في التقرير كمؤشر تقريبي، لا كقياس.
كيف تقرأ نتيجة مستند قصير
إرشاد Turnitin لأي شخص يقرأ نتيجة ذكاء اصطناعي هو نفسه سواء كان المستند طويلًا أم قصيرًا: "the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (لا ينبغي استخدام النسبة المئوية في مؤشر الكتابة بالذكاء الاصطناعي كأساس وحيد لاتخاذ إجراء أو كمعيار تقييم نهائي من قبل المدرسين.)
وفي المستندات القصيرة تزداد هذه الأهمية، لأن النتيجة هي في آن واحد إما كل شيء أو لا شيء وأقل دقة. الرد القاسي على نتيجة مستند قصير يعامل تنبؤًا تقريبيًا كما لو كان حقيقة مقيسة. وتقول Turnitin أيضًا إن النتيجة "is not meant to provide definitive answers in isolation," (ليس المقصود بها تقديم إجابات نهائية بمفردها)، وأن من يقرأها يجب أن يوازن الرقم بمعرفته الشخصية بالطالب وبعمله. وتذهب صفحاتها الموجهة للمدرسين أبعد من ذلك فتبين ما يُطلب من المدرس فعله عندما تكون نسبة الذكاء الاصطناعي مرتفعة.
القراءة العملية بسيطة. النتيجة المنخفضة في بحث قصير تستحق سؤالًا؛ والنتيجة المرتفعة في بحث قصير تستحق سؤالًا أيضًا، قبل أن يعاملها أحد كحكم نهائي على النص بأكمله.
تابع القراءة