لماذا يحصل النص نفسه على درجة مختلفة في كل كاشف
في دراسة ستانفورد، تم وسم 89 مقالاً من أصل 91 من قبل كاشف واحد على الأقل، ولم يوسمها جميع الكواشف السبعة سوى 18 مقالاً. المقالات نفسها، واليوم نفسه — لكن الأدوات اختلفت بشأن 71 منها.
فريق HumanPen
· مدة القراءة: 5 د
هذا الخلاف قابل للقياس، وحجمه كبير
أوضح رقم منشور يأتي من دراسة ستانفورد عن الكتّاب غير الناطقين بالإنجليزية، التي يُستشهد بها عادةً بسبب معدل الإيجابيات الخاطئة اللافت في عنوانها. انظر بدلاً من ذلك إلى الرقمين الموجودين أسفله.
- 89 من أصل 91 مقالاً في اختبار TOEFL (97.80 بالمئة) تم وسمها على أنها من إنتاج الذكاء الاصطناعي من قبل كاشف واحد على الأقل من الكواشف السبعة.
- 18 من أصل 91 (19.78 بالمئة) تم وسمها من قبل الكواشف السبعة جميعاً.
يتبقى بذلك 71 مقالاً — أي أربعة من كل خمسة في المدوّنة — لم تكن القرارات الثنائية السبعة فيها بالإجماع. تُظهر الأعداد المنشورة خلافاً في التصنيف، وإن كانت لا تخبرنا بمدى تباعد الدرجات الأساسية في كل حالة على حدة.
بالنسبة إلى تلك المقالات، كان بإمكان الأداة التي تختارها المؤسسة أن تحدد ما إذا كان الوسم سيظهر أصلاً. هذه مشكلة ارتهان بالمنتج، وليست دليلاً على أن كاشفاً بعينه كان مخطئاً دائماً.
للتاريخ أهمية. رصدت الدراسة سبعة منتجات في أوائل عام 2023، وقد غيّر عدد منها نماذجه أو عتباته أو واجهات تقاريره منذ ذلك الحين. لا ينبغي استخدامها كجدول ترتيب حالي. أما نتيجتها الباقية فهي منهجية: مخرجات الكواشف ليست قابلة للتبادل، وبالتالي لا يمكن لدرجة من مزوّد أن تؤكد أو تبطل درجة من مزوّد آخر من دون مقارنة جديدة ومضبوطة.
حتى إعادة الفحص لدى المزوّد نفسه قد تعطي نتيجة مختلفة إذا تم تحديث الخدمة بصمت، أو كانت ميزات أخرى مفعّلة في الحساب، أو جرت معالجة المستند بطريقة مغايرة. لذا فإن إمكانية التكرار تتطلب أكثر من حفظ النص: احتفظ بالملف الأصلي والتقرير والتاريخ ومستوى المنتج وإعداد اللغة وأي إصدار متاح للنموذج. لقطة شاشة تحوي نسبة مئوية واحدة من دون هذا السياق يصعب تدقيقها لاحقاً.
لماذا تختلف الكواشف في ما بينها
لأنها ليست تطبيقات لقياس واحد. إنها منتجات مختلفة.
- نماذج أساسية مختلفة. الكاشف الذي يقيس الحيرة مقابل GPT-2 وآخر يشغّل مصنّف تعلم عميق مدرباً خصيصاً لهذا الغرض يطرحان على الجملة نفسها سؤالين مختلفين.
- بنى تتغير مع الزمن. تخلّى GPTZero عن الحيرة والتفاوت في خريف 2023؛ وآخرون لم يفعلوا. المقارنة بين المزوّدين هي جزئياً مقارنة بين أجيال من المنهجية.
- توزيعات تدريب مختلفة. ما يُعدّ كتابة بشرية عادية يعتمد على نصوص مَن رآها المصنّف أثناء التدريب. هذه هي الآلية الكامنة وراء التحيز ضد كتّاب الإنجليزية كلغة ثانية، وهي تختلف من مزوّد إلى آخر.
- عتبات وقواعد عرض مختلفة. تحجب Turnitin الآن الدرجات الرقمية من 1 إلى 19 بالمئة؛ وغيرها يعرض رقماً عند كل مستوى. يمكن بالتالي عرض الإشارة الأساسية نفسها بشكل مختلف قبل أن تراها أصلاً.
- وحدات مختلفة. قد تعني نسبة مئوية واحدة ثقة الكاشف بالمستند كله، وقد تعني نسبة أخرى حصة الجمل الموسومة بأنها من إنتاج الذكاء الاصطناعي، وثالثة حصة النص المشمول بالتقييم. الأرقام المتشابهة في الظاهر لا تضطر للإجابة عن السؤال نفسه.
- معالجة مسبقة مختلفة. قد تحذف الأدوات المراجع، أو تتجاهل القوائم النقطية، أو تقسّم الجمل بشكل مختلف، أو تقطع المستندات الطويلة. لذا قد تقيّم نصاً مختلفاً في حين يبدو أنها استلمت الملف نفسه.
يفاقم طول النص هذه الفوارق. فالكاشف الذي يحتاج عدة مئات من الكلمات يمكنه استخدام أنماط على مستوى المستند؛ أما الأداة في المتصفح التي تقبل فقرة واحدة فقد تعتمد على خصائص موضعية. الدعم اللغوي مهم أيضاً: لا يمكن الافتراض أن نموذجاً معايراً للإنجليزية يتصرف بالطريقة نفسها على مقاطع مترجمة أو على قائمة مراجع بلغتين.
النسب المئوية لا تستخدم الوحدة نفسها
تُظهر تعريفات المزوّدين أنفسهم لماذا لا يمكن مقارنة نسب مئوية متشابهة في الظاهر ما لم تعرف الوحدة. تم التحقق في 28 أغسطس 2026:
| المزوّد والمخرج | ما يقول المزوّد إن النسبة المئوية تعنيه | الحد الذي يضعه المزوّد لنفسه |
|---|---|---|
| تقرير AI Writing Report من Turnitin | مقدار النص المؤهل الذي يحدده النموذج على أنه مُنتج على الأرجح بالذكاء الاصطناعي، أو مُنتج به ثم عُدّل. هذه حصة من النص المؤهل، وليست درجة ثقة. | تقول Turnitin إن النموذج قد يخطئ في تحديد النص، وإنه لا ينبغي أن يكون الأساس الوحيد لأي إجراء ضار. |
| درجة كشف الذكاء الاصطناعي في Originality.ai | احتمال تصنيف. يقول مثالها إن 60% Original يعني أن النموذج واثق بنسبة 60% في تنبؤه بأن النص أصلي. | وتقول صفحتها إن هذا لا يعني أن 60% من النص كان أصلياً و40% مُنتجاً بالذكاء الاصطناعي، وتقرّ بأن الإيجابيات الخاطئة تقع بالفعل. |
| احتمال الفئة في واجهة GPTZero البرمجية | الاحتمال المرتبط بالفئة المتنبأ بها: بشري، أو ذكاء اصطناعي، أو مختلط. تشرح GPTZero نسبة 90% بأن الكاشف يصيب في 90% من الحالات على مستندات مشابهة. | يقتصر هذا القول على المستندات المشابهة وعلى الفئة التي تتنبأ بها الواجهة البرمجية؛ وليس ادعاءً بأن 90% من الكلمات المُرسلة من إنتاج الذكاء الاصطناعي. |
| درجة Human Score من Winston AI | تقدير ثقة بأن المحتوى أنشأه إنسان. تقول صفحتها إن 80% بشري و20% ذكاء اصطناعي يعني ثقة بنسبة 80% في أن التأليف بشري، لا حصة من الذكاء الاصطناعي مقدارها 20%. | تقول Winston إن تقييمها غير قابل للتنفيذ، وإن خريطة تنبؤاتها قد تحدد نصاً بشرياً. |
وبالتالي تُبلغ Turnitin عن حصة من مجموعة فرعية مؤهلة من المستند، في حين تُبلغ الأمثلة الثلاثة الأخرى عن ثقة تدور حول تصنيف الفئة. الرمز نفسه، علامة النسبة المئوية، يقوم بأعمال رياضية مختلفة. تحويل رقم مزوّد إلى مقياس مزوّد آخر ليس رأياً ثانياً؛ بل يغيّر السؤال المطروح.
يمكن لمزوّد واحد أن يعرض نسبتين مئويتين مختلفتين
تجعل صفحات GPTZero العامة مشكلة الوحدة مرئية من دون مقارنة شركتين. فوثائق الواجهة البرمجية وصفحة الكاشف على الويب تصفان مخرجين مختلفين، كلاهما بعلامة النسبة المئوية. تم التحقق في 28 أغسطس 2026:
| الواجهة والحقل في GPTZero | الصياغة الحرفية للجهة نفسها | الوحدة التي تدعمها تلك الصياغة |
|---|---|---|
| احتمال الفئة عبر الواجهة البرمجية | "The class probability corresponding to the predicted class can be interpreted as the chance that the detector is correct in its classification." (يمكن تفسير احتمال الفئة المقابل للفئة المتنبأ بها على أنه احتمال أن يكون الكاشف مصيباً في تصنيفه.) | احتمال أن تكون فئة المستند المتنبأ بها صحيحة على مستندات مشابهة |
| نتيجة الكاشف على الويب | "GPTZero will suggest what percentage of your text is likely to be AI-generated and highlight the specific phrases it has detected." (سيقترح GPTZero ما هي نسبة نصك المرجح أن تكون مُنتجة بالذكاء الاصطناعي، وسيبرز العبارات المحددة التي رصدها.) | حصة النص المُرسل الموصوفة بأنها مُنتجة على الأرجح بالذكاء الاصطناعي |
قد يكون هذان حقلَي إخراج منفصلين لا تناقضاً. القاعدة العملية هي تسمية واجهة المنتج والحقل. عبارة مجردة مثل «أعاد GPTZero نسبة 30%» لا تحدد أي كمية يمثلها ذلك الرقم.
خدمتان صينيتان تستخدمان علامة النسبة المئوية لادعاءين مختلفين
يظهر عدم تطابق الوحدة نفسه في وصفين حاليين من جهتين صينيتين بصياغتهما الخاصة. الصياغة المقتبسة أدناه تم التحقق منها في 28 أغسطس 2026.
| الخدمة والمخرج | الصياغة الحرفية للجهة نفسها | ما تدعمه تلك الصياغة | تاريخ التحقق |
|---|---|---|---|
| خدمة كشف AIGC لأطروحات البكالوريوس في CNKI | "检测结果中的AIGC值表示的是文章内容存在AI生成的概率大小" (قيمة AIGC في نتيجة الكشف تعبّر عن مدى احتمال احتواء محتوى المقال على توليد بالذكاء الاصطناعي.) | قول شبيه بالاحتمال حول وجود توليد بالذكاء الاصطناعي في المقال؛ ولا تعرّفه الصفحة كحصة من الكلمات أو الجمل | 28 أغسطس 2026 |
| كشف AIGC في Wanfang Wencha | "精准识别论文中疑似AI生成文本占比" (التعرف بدقة على حصة النص المشتبه في أنه مُنتج بالذكاء الاصطناعي داخل الأطروحة) | حصة من النص يشتبه في أنه مُنتج بالذكاء الاصطناعي | 28 أغسطس 2026 |
تربط هذه الأقوال الرمز البصري نفسه بكميات مختلفة: احتمال الوجود مقابل حصة النص المشتبه فيه. لا يمكن وضع قيمة 30% من صفحة واحدة بجانب 30% من الأخرى من دون تغيير الوحدة أولاً، ولا تنشر أي من الصفحتين قاعدة للتحويل.
بعض الكواشف بالكاد يخرج مقياساً على الإطلاق
ثمة تعقيد إضافي عند مقارنة الدرجات. ففي اختبار معياري، تتكدس مخرجات بعض الكواشف قرب 0 أو 1، بينما تشغل أخرى مساحة أوسع من المقياس. لا يعني ذلك بالضرورة أن النموذج الأساسي لا يملك درجة متصلة؛ فالعتبات والتقريب وواجهة المستخدم قد تجعل إشارة متصلة تبدو ثنائية.
HumanizerBench، الذي يشغّل خمسة كواشف تجارية على كل عينة، يعتمد الوسيط بدلاً من المتوسط لهذا السبب تحديداً: فعندما تكون هناك كواشف تحوّل النتيجة إلى ثنائي، تحرّك قيمة شاذة واحدة المتوسط بمقدار يصل إلى 0.25. صفحة المنهجية تقول ذلك صراحةً.
حساب المتوسط على هذه المخرجات ممكن من الناحية الرياضية، لكن تفسيره غير واضح عندما تستخدم المدخلات وحدات ومعايرة مختلفة. يقلل الوسيط من تأثير قيمة متطرفة واحدة؛ وهو لا يكشف الحقيقة الأساسية ولا يجعل الكواشف المكوّنة مستقلة عن بعضها. HumanizerBench اختبار معياري منشور للمنتجات، وليس دراسة تحقق مؤسسية، لذا ينبغي قراءة خياره في التجميع ضمن هذا النطاق.
للتصويت بالأغلبية حد مشابه. خمس أدوات مترابطة تدربت على مدوّنات متداخلة ليست خمسة شهود مستقلين. قد يعكس الاتفاق نقاط عمى مشتركة، وقد لا يعكس الخلاف أكثر من عتبات مختلفة. من دون مجموعات اختبار موسومة، بنصوص بشرية ومولّدة تطابق الفئة المستهدفة، لا توجد طريقة مبدئية لتحويل تلك الأصوات إلى احتمال تأليف.
ما العمل بهذا
يترتب على ذلك أربعة أمور، لا يتعلق أي منها بتقنية الكتابة.
- في إجراء مؤسسي قائم، حدد التقرير المستخدم فعلياً. استشارة مزوّد آخر تخبرك برأي ذلك المزوّد؛ ولا يمكنها استنساخ أداة المؤسسة أو إعداداتها أو إصدارها.
- الرأي الثاني الذي يبرئك ليس تبرئة، والذي يوسمك ليس دليلاً. كلاهما مخرج مصنّف واحد على نص تقرأ عدة مصنّفات أخرى خصائصه بشكل مختلف.
- اسأل عمّا تُستخدم فيه الدرجة. تصرّح Turnitin بأن نموذجها قد يخطئ في تحديد النص، وبأنه لا ينبغي أن يكون الأساس الوحيد لأي إجراء ضار. نتيجة الكاشف مُدخل في عملية المراجعة، وليست حكماً بسوء السلوك.
- إذا كنت تقارن الأدوات لغرض بحثي، فثبّت الظروف. استخدم الإصدار نفسه والمدخل الكامل واللغة نفسها والتاريخ نفسه والمدوّنة الموسومة نفسها؛ وسجّل حالات الإخفاق والنص المستبعد إلى جانب الرقم المعروض.
في التظلم، تضيف لقطات الشاشة المتضاربة عادةً ضجيجاً لا أكثر. أدلة العملية — المسودات والملاحظات وتعليقات المصادر وسجل المراجعات والقدرة على شرح القرارات — تتناول مسألة التأليف بشكل أكثر مباشرة من مصنّف غامض آخر. وبالنسبة إلى المعلّم، فإن هذا الخلاف سبب لتصميم عملية تدقيق قبل وصول حالة صعبة، لا بعدها.
في الشراء، قارن الخطأ حسب الفئة الفرعية والنوع النصي بدلاً من السؤال عن المزوّد الذي يعلن أعلى دقة إجمالية. اطلب سياسة تحديث موثّقة، وسجل تدقيق لإصدارات التقارير، وقواعد واضحة للنص المؤهل، وتصديراً يمكن للطلاب الرد عليه بشكل مفيد. يصبح الخلاف أقل خطورة عندما تعرف المؤسسة بدقة ما تضيفه الأداة، وتكون قد حددت الأدلة التي يمكن أن تتجاوزها.
ولمعرفة ما يقيسه هذا الرقم في المقام الأول، انظر ما تقيسه كواشف الذكاء الاصطناعي فعلياً.
تابع القراءة
ما الذي تقيسه كاشفات الذكاء الاصطناعي إلى جانب Perplexity وBurstiness
مدة القراءة: 6 د
تقارير الكشفهل نسبة 20% من الذكاء الاصطناعي عالية جداً؟ لماذا لا يوجد حدٌّ مطلق
مدة القراءة: 5 د
أدوات كشف الذكاء الاصطناعيلماذا يتعرّض كتّاب الإنجليزية غير الناطقين بها للإبلاغ كأصحاب محتوى ذكيّ اصطناعيّ أكثر من غيرهم
مدة القراءة: 8 د