ما الذي تقيسه كاشفات الذكاء الاصطناعي إلى جانب Perplexity وBurstiness

Perplexity يقيس مدى مفاجأة اختيارك للكلمات بالنسبة إلى نموذج لغوي. وتعرّفه GPTZero، التي عمّمت صفحتها التفسيرية هذا المصطلح، بأنه احتمال أن يختار نموذج ذكاء اصطناعي الكلمات نفسها تماماً الموجودة في الوثيقة. فإذا كانت الكلمة التالية هي ما كان النموذج سيتوقّعه، كانت Perplexity منخفضة. وكانت القاعدة التقريبية التي نشروها في ذلك الوقت أن Perplexity فوق 85 يرجّح أن يكون النص بشرياً.

Burstiness يقيس التباين. فالبشر يراوحون في بناء الجمل: جملة طويلة مركّبة، ثم جملة قصيرة مسطّحة، ثم مقطع ناقص. أما النماذج اللغوية، بحسب تعبير GPTZero، فتكتب بدرجة ثابتة جداً من "الشبه بالذكاء الاصطناعي"، ولذلك يبقى Burstiness منخفضاً لديها.

ويستطيع الكاشف الإحصائي حساب هاتين القيمتين للجمل أو المقاطع بتمرير النص عبر نموذج لغوي مرجعي وقياس مدى قابليته للتوقّع. واختيار النموذج مهم: فالعبارة التي تفاجئ نموذجاً قد تكون مألوفة لنموذج آخر، لأنهما تدرّبا على مدوّنات مختلفة ويقطّعان النص بطرق مختلفة.

كلتا القيمتين من خصائص النص، ولا واحدة منهما من خصائص من كتبه. وليس في الحساب أي شيء يطّلع على من كتب ماذا.

Perplexity ليس نسبة مئوية لتأليف الذكاء الاصطناعي. فهو في العادة متوسط محوَّل لاحتمالات الرمز التالي، ومقياسه المطلق يعتمد على النموذج. أما Burstiness فأقل توحيداً بعد: فقد يستخدم المورّدون التباين في Perplexity الجمل، أو في طولها، أو في بنيتها النحوية، أو مزيجاً خاصاً بهم. لذلك قد يعرض تطبيقان الكلمة نفسها وهما يبلّغان عن حسابين مختلفين.

ويبقى الكاشف الكامل بحاجة إلى قاعدة قرار. فقد يجمع درجات الجمل في درجة للوثيقة، ويشترط قدراً أدنى من النثر، وينعّم الجمل المتجاورة، ويطبّق عتبة اختيرت للموازنة بين الإيجابيات الخاطئة والحالات التي يفوته اكتشافها. وهذه الخيارات في المنتج قد تغيّر النتيجة المُبلَّغ عنها حتى لو كانت خصائص النص متطابقة.

انخفاض Perplexity يعني أن اختيار الكلمات قابل للتوقّع. ولقابلية التوقّع في اختيار الكلمات أسباب كثيرة، وكون النص قد ولّده نموذج ليس إلا واحداً منها.

• الكتابة بلغة ثانية. البقاء داخل المفردات التي تتقنها استراتيجية سليمة، وهي تُنتج هذه السمة تحديداً؛ ولهذا صنّفت 7 كاشفات 61% من مقالات TOEFL التي كتبها بشر تصنيفاً خاطئاً.
• الكتابة في نوع له أعراف ثابتة. قسم المنهجية، تعريف قانوني، بروتوكول مخبري. الصياغة الجاهزة هي الأسلوب الصحيح هناك، لا دليل إدانة.
• التحرير من أجل الوضوح. إزالة التراكيب غير المألوفة والإيقاع غير المنتظم قد تجعل الألفاظ أكثر قابلية للتوقّع، وإن كان أثر ذلك يعتمد على الكاشف وعلى المقطع.
• الاقتباس أو اتّباع قالب عن قرب. بيانات الأخلاقيات، وقوائم التحقّق الخاصة بالتقارير، والتعريفات القياسية تعيد استخدام لغة ثابتة عن قصد. وكونك المؤلِّف لا يجعل تلك العبارات جديدة من الناحية الإحصائية.
• كتابة مقطع قصير. مع قلة السياق، قد تهيمن فقرة واحدة جاهزة على النتيجة. ولذلك يفرض بعض المورّدين قواعد للحد الأدنى للطول بدلاً من التظاهر بأن كل مقتطف قابل للتقييم بالقدر نفسه.

وهذا يفتح باب احتمال مزعج: فالتحرير المتحفّظ قد يحسّن قابلية القراءة دون أن يحسّن نتيجة الكاشف. ومن الأمثلة على ذلك لوحة ترتيب HumanizerBench، حيث حقّق Grammarly درجات عالية في الحفاظ على المعنى وقابلية القراءة في الاختبار المنشور، لكن كانت نسبة التجاوز لديه 0.0. ولا يثبت هذا المعيار لماذا تفاعلت الكاشفات كما تفاعلت، ولا ينبغي تعميمه إلى ما بعد عيّناته. وهو يبيّن أن جودة الكتابة والالتفاف على الكاشف محوران منفصلان للتقييم.

قابلية التوقّع ليست انتحالاً، ولا سوء سلوك، ولا دليلاً على الأتمتة. ويمكن أن تكون سمة من سمات النثر البشري الواضح والمتعارف عليه والمحرَّر بعناية.

هذا هو الجزء الذي يغفله كثير من الشروحات عن الكاشفات. تذكر GPTZero في أعلى صفحتها أن الشركة منذ خريف 2023 لم تعد تستخدم Perplexity وBurstiness في الكشف، بعد انتقالها إلى بنية تعلّم عميق. وتصف الصفحة نفسها لاحقاً الأساليب الإحصائية بأنها مؤشرات داخل نظام أوسع، وهو تحذير مفيد من اختزال منتج متغيّر في مصطلحين معلنين.

تنشر Turnitin فئات التقرير، وقواعد الأهلية، والتحذيرات، لكنها لا تنشر أوزان النموذج، ولا مدوّنة التدريب، ولا مسار استخراج الخصائص اللازمة لإعادة إنتاج مصنِّفها. وتفصح الشركات التجارية الأخرى عن مستويات مختلفة من التفصيل. فعلامة منتج مثل "التعلّم العميق" تحدّد عائلة من الطرق، لا قياساً شفافاً.

Perplexity وBurstiness نموذج تاريخي مفيد لسلوك الكاشفات، وليسا وصفة يمكن الاعتماد عليها لتوقّع نتيجة أداة تجارية اليوم.

وقد يتعلّم المصنِّف العميق توليفات من النحو والدلالة والأنماط بعيدة المدى يصعب تسمية كل منها على حدة. كما قد يُحدَّث من دون إعادة حساب التقارير القديمة. ولذلك فإن إصدار الكاشف، وتغطيته للنماذج اللغوية، وتاريخ التقرير جزء من الأدلة. والنتيجة من دون هذه التفاصيل أقل قابلية للتكرار ممّا تبدو عليه.

وهذا يسدّ أيضاً استدلالاً شائعاً: فالمقطع لا يحصل على درجة مرتفعة لأن له عادة ظاهرة واحدة، مثل تكرار عبارات الربط أو الشرطات الطويلة. قد لا تغيّر إزالة عادة واحدة شيئاً، بينما قد تحرّك تعديلات عادية في مكان آخر النتيجة. ولذلك فإن قوائم ما يسمّى "كلمات الذكاء الاصطناعي" شروح رديئة للمصنِّف ونصائح رديئة في التحرير.

وتُدخل تحديثات النماذج انزياحاً في التوزيع في الاتجاهين. فالكاشف الذي دُرّب على التمييز بين مقالات بشرية من 2023 ومخرجات نماذج من 2023 قد يواجه لاحقاً نماذج أحدث، وأدوات إعادة صياغة جديدة، وممارسات كتابة بشرية متغيّرة. وقد تُحسّن إعادة المعايرة نوعاً وتُسيء إلى آخر. ولذلك يجب قياس الأداء الحالي على مخرجات حالية وعلى كتابة بشرية محجوزة، لا استنتاجه من معيار عند الإطلاق أو من اسم البنية.

ليس الكثير عن تقنيات الكتابة، والكثير جداً عن مقدار الوزن الذي يستحقه رقم ما.

النتيجة هي مخرج مصنِّف يعمل على خصائص النص، دُرّب وضُبط على توزيع محدّد. وبحسب المورّد، قد تصف النسبة المئوية المعروضة حصة النص المؤهَّل الذي صُنِّف ضمن فئة ما، لا احتمال أن يكون المؤلِّف قد استخدم ذكاءً اصطناعياً. إنها دليل على كيفية تعامل هذا النظام مع هذه الوثيقة، لا دليل مباشر على شخص.

• تحقّق من المقام. هل الرقم هو ثقة الجملة، أم ثقة الوثيقة، أم نسبة النثر المؤهَّل؟ هذه كميات مختلفة.
• تحقّق من ظروف التشغيل. اللغة، والحد الأدنى للطول، ونوع الملف المدعوم، والمواد المستبعدة قد تحدّد ما الذي قيّمه النموذج فعلاً.
• تحقّق من الإصدار والتاريخ. تحديث من المورّد قد يغيّر التصنيفات من دون أي تغيير في النص.
• تحقّق من قاعدة القرار. اسأل هل تستخدم المؤسسة النتيجة للفرز، أم لمحادثة، أم لقرار رسمي، وما الأدلة المؤيّدة المطلوبة.

أما للكتّاب، فالنصيحة التي تبقى صالحة هي ممارسة التأليف المعتادة: احتفظ بالمسوّدات، وتحقّق من المصادر، واحتفظ باستدلالك الخاص، وحرِّر من أجل القارئ المقصود. ومحاولة تحسين مصنِّف مخفيّ تستبدل تلك الأهداف بهدف غير مستقر.

أما لمن يتّخذ القرار، فالمعايرة لا تقلّ أهمية عن الترتيب. فقد يرتب مصنِّف المقاطع المولَّدة فوق المقاطع البشرية ترتيباً جيداً نسبياً، ومع ذلك يرفق بها نسباً مئوية لا تقابل احتمالات واقعية. وقبل استخدام نتيجة ما بشكل عملي، اسأل عمّا تدلّ عليه النسبة المئوية، وكيف ضُبطت، وعلى أي فئة، وكيف يتغيّر الأداء عند العتبة المختارة. ومن دون هذه الإجابات، تضيف المنازل العشرية دقة إلى العرض لا يقيناً إلى الاستنتاج.

إن أردت هذه النتائج مفصَّلة — ماذا يحدث عندما يشغّل مورّدون مختلفون الفقرة نفسها — فاقرأ لماذا يحصل النص نفسه على درجات مختلفة في كل كاشف. وإن كان لديك تقرير أمامك أصلاً، فإن كيفية قراءة تقرير كتابة الذكاء الاصطناعي من Turnitin يشرح ما يقيسه ذلك الرقم بعينه.