ماذا يعني النجم (\*%) في نتيجة ذكاء اصطناعي على Turnitin؟

النجم يعني أن مكتشف Turnitin وجد ذكاءً اصطناعيًا في النطاق من 1% إلى 19%، وأنه لا يريك الرقم ولا الإبرازات. السبب، بكلمات Turnitin نفسها، هو أن النتائج في تلك النطاق تحمل خطرًا أعلى للإيجابيات الكاذبة. فالتقرير إذن لا يقول «لا شيء مكتشفًا» ولا يقول «صفر». بل يقول: وُجد شيء، ولن نريك إياه. لذلك أثر محدد على أي من يحاول القراءة أو المراجعة في مواجهة نتيجة في ذلك النطاق، لأن الشيئين اللذين تحتاجهما للتصرف بناءً على نتيجة غائبان معًا. الرقم غائب، والمقاطع المُبرزة غائبة.

ها هو الجواب الكامل من أسئلة قدرات كشف الكتابة بالذكاء الاصطناعي لدى Turnitin:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (لتجنب وقوع محتمل للإيجابيات الكاذبة، لا تُنسب نتيجة ولا إبرازات لنتائج كشف الذكاء الاصطناعي في النطاق من 1% إلى 19%. عندما يُكشف ذكاء اصطناعي تحت عتبة 20% في التقرير، يُشار إليه الآن بنجم (*%) ولا تُنسب أي نسبة مئوية.)

ثلاثة أمور محشوة في تلك الجملة، والثاني يُتخطى عادةً.

أولاً، النجم ليس عنصرًا نائبًا للصفر. يغطي كل شيء من 1% إلى 19%. تقرير يُظهر نجمًا له خلفه نتيجة غير صفر، وقد قرر التقرير ألا يُظهر أي رقم غير الصفر.

ثانيًا، السبب هو الإيجابيات الكاذبة. القاعدة موجودة لأن Turnitin يرى أن النتائج في ذلك النطاق أكثر احتمالًا لأن تكون خاطئة، حيث «خاطئة» تعني تظليل نص كتبه إنسان باعتباره ذكاءً اصطناعيًا. الجملة قبل هذا الموضع بفقرتين في الأسئلة الشائعة تستخدم عبارة "incorrectly flagging human-written text as AI-generated" (التظليل الخاطئ لنصٍ كتبه إنسان باعتباره مولَّدًا بالذكاء الاصطناعي) لوصف ما هي الإيجابية الكاذبة، وقاعدة النجم هي الجواب المباشر على ذلك الخطر.

ثالثًا، العتبة هي 20%. العشرون هي حيث يبدأ التقرير بالتصرف كقياسٍ من جديد. تحت العشرين يتصرف كمفتاح ذي موضعٍ للصفر وموضعٍ لكل شيء آخر. النجم إحدى أربع حالات مؤشر يمكن للتقرير أن يُظهرها؛ وهو الوحيد الذي يقول إنه وُجد شيء دون أن يكشفه.

يزيل النجم نوعين من المعلومة، والثاني ينال اهتمامًا أقل مما يستحق.

الرقم يذهب. ذلك يلاحظه الجميع. النسبة المئوية التي كانت ستجلس بين 1% و19% تُستبدل برمز، ولا سبيل لقراءة الرقم الحقيقي من التقرير.

تذهب الإبرازات أيضًا. عند نتيجة 20% أو أكثر، يُعلّم التقرير المقاطع التي يرى أنها مكتوبة بالذكاء الاصطناعي، فيمكنك الذهاب لرؤيتها. عند نجم، ليس هناك ما يُرى. لا مقطع مُعلَّم. ولا موقع على مستوى الجملة مُعطى. للتقرير نتيجة لا يُريكها، وهو أيضًا لا يُريك من أين أتت.

تابع ذلك حتى المراجعة. لنفترض أن نسخة سابقة من المستند عادت بنسبة 17% والحالية بـ 3%. كلا التقريرين يُظهران نجمًا. نفس الرمز، نفس غياب الإبرازات، نفس كل شيء على الشاشة. العمل حدث. لا تملك الواجهة مفردات للإفصاح عنه. من يقول لك إن تقريرًا حاضرًا تحرك «من 15% إلى 4%» يمدك برقمين لم يُظهرهما التقرير. تلك ليست قراءةً للتقرير؛ بل ادعاءٌ عما خلفه.

لهذا أيضًا فإن مقارنة نجمين ليست مقارنة. تقريران بالرمز نفسه قد يكون لهما نتائج خلفية مختلفة، ولا يقول أيٌّ منهما لك إن كان كذلك. إن احتجت إلى مقارنة نسختين من مستند، فالتقارير التي يمكن مقارنتها هي تلك عند 20% وفوق، حيث الرقم والإبرازات كلاهما ظاهر. شرحنا شكل مقارنة مقروءة في كيف تقرأ تقرير كتابة بالذكاء الاصطناعي من Turnitin.

قاعدة النجم تتعلق بالعرض. هناك صفة منفصلة للنموذج تجعل النطاق خلف النجم أقل قابليةً للتنبؤ مما كان سيكونه الرقم الذي يحل محله، وتجلس على الحدّ نفسه.

من الأسئلة الشائعة، عن المستندات القصيرة:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (في المستندات الأقصر حيث لا توجد إلا بضع مئات من الكلمات، ستكون التنبؤ في معظمه «كله أو لا شيء» لأننا نتنبأ على مقطع واحد دون فرصة للتداخل.)

الجملة التالية:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (يعني هذا أن بعض النص الذي هو مزيج من محتوى مولَّد بالذكاء الاصطناعي وأصلي يمكن أن يُعلَّم باعتباره مولَّدًا كله بالذكاء الاصطناعي.)

يمكن إذن لمستند قصير ذي محتوى مختلط أن يحصل على نتيجة تبدو شيئًا بينما الحال الخلفي شيء آخر. لو كانت النتيجة المُبلَّغ عنها على مثل هذا المستند، قل، 14%، فقد تكون الصورة الحقيقية أعقد مما أوحى به الـ 14%. يخفي النجم ذاك 14%، وبذلك يخفي أيضًا حقيقة أن الـ 14% ذاته كان تنبؤًا من الكل-أو-لا-شيء على مقطع واحد.

لا شيء من هذا بيانٌ عن المخالفة. بل بيانٌ عما يستطيع الأداة أن تخبرك به وما لا تستطيع في النطاق الذي يأبى إظهاره. النتيجة للقارئ هي أن نجمًا على مستند قصير هو أقل الحالات إفادةً التي يمكن أن يكون التقرير فيها مع أنه لا يزال يقول إن شيئًا حدث. والشيء الوحيد الذي يقوله التقرير، يقوله بلا سياق.

شيء آخر يخفيه النجم هو حجم المقام خلفه، وذلك المقام أضيق من الملف.

يقول Turnitin إنه يحلل النص المؤهل فقط، الذي تعرّفه الأسئلة الشائعة كالآتي:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (يشمل هذا النص المؤهل جملَ نثرٍ فقط، مما يعني أننا نحلل كتل النص المكتوبة بجملٍ نحوية قياسية فقط ولا نشمل أنواعًا أخرى من الكتابة كالقوائم والنقاط (تراكيب قصيرة غير جملية) أو تراكيب أخرى غير جملية.)

الجملة التالية:

"This percentage is not necessarily the percentage of the entire submission." (هذه النسبة ليست بالضرورة نسبة التسليم كله.)

مستندٌ مبني في معظمه من قوائم وجداول وقائمة مراجع ترك للنموذج نثرًا قليلًا يُقيّمه. النجم على ملف كهذا يجلس فوق مقامٍ كان أصغر أصلًا مما يبدو المستند. لو كان الرقم المخفي 8%، فذلك الـ 8% كان 8% من نثرٍ مؤهل، وقد يكون النثر المؤهل نصف الملف.

هذا يهم لسببين. النسبة التي لا يُريكها التقرير ليست النسبة التي ستخمنها من قراءة المستند. والإبرازات التي لا يمنحكها التقرير كانت ستكون الطريق الوحيد لمعرفة ما احتُسب. بلا الإبرازات، يصبح المقام الذي حُسب فوقه النجم غير مرئي أيضًا. لديك رمزٌ يمثل رقمًا يمثل كسرًا من شيء لا تستطيع قياسه من الخارج.

قاعدة النجم قرارُ عرضٍ، لكنها تجلس فوق اختيار تصميمي أعمق يميل في الاتجاه نفسه. هذا ما يقوله Turnitin عن ذلك الاختيار:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (كي نُبقي هذه النسبة المنخفضة من 1% للإيجابيات الكاذبة، ثمة فرصة أن نفوتنا بعض نصٍ مكتوب بالذكاء الاصطناعي في مستند. نحن مرتاحون لذلك إذ لا نريد تظليل نصٍ كتبه إنسان ظلمًا باعتباره مكتوبًا بالذكاء الاصطناعي. مثلًا، إن حددنا أن 50% من مستند مكتوب على الأرجح بأداة ذكاء اصطناعي، فقد يحوي حتى 65% كتابةً بالذكاء الاصطناعي.)

اقرأ ذلك إلى جانب قاعدة النجم. يميل النموذج إلى التقاط أقل بدل التظليل أكثر. تأخذ قاعدة العرض النطاق الذي يكون فيه الخطآن أصعب فصلًا، وترفض وضع رقم عليه. ذلكم الاتجاه نفسه. أداةٌ تفضل تفويت نص ذكاء اصطناعي على تظليل نصٍ بشري هي أيضًا أداةٌ تفضل إظهار نجم على إظهار 7% لا تستطيع مناصرته.

نسبة الإيجابيات الكاذبة التي ينشرها Turnitin محددةً في النطاق. من الأسئلة الشائعة نفسها:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (نسعى لتعظيم فعالية مكتشفنا مع إبقاء نسبة إيجابياتنا الكاذبة - تحديد نصٍ بشري كليًا ظلمًا باعتباره مولَّدًا بالذكاء الاصطناعي - تحت 1% للمستندات التي فيها فوق 20% كتابة ذكاء اصطناعي.)

الجملة التالية:

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (بعبارات أخرى، قد نُعلّم مستندًا كتبه إنسان باعتباره مكتوبًا بالذكاء الاصطناعي لواحدٍ من كل 100 مستند كُتبت كلها بشرًا.)

العبارة في نهاية الجملة الأولى هي ما يربط بالنجم. هدف تحت-1% مذكور للمستندات التي فيها فوق 20% كتابة ذكاء اصطناعي. تحت تلك العتبة لا يُعطى الهدف كرقم، وقاعدة العرض هي ما يجيب: التقرير ببساطة لا يُظهر نتائج لا يستطيع مناصرتها. حدّ الـ 20% في قاعدة النجم وحدّ الـ 20% في هدف الإيجابيات الكاذبة هما الخط نفسه.

النجم نتيجةٌ ليست فارغة وليست رقمًا، ولا يترك لك مقطعًا للتفتيش. ذلك يضيق ما يمكن فعله به مباشرةً، لكنه لا يتركك بلا شيء.

• لا تعامله كصفر. التقرير وجد شيئًا. إنه يحتفظ بالرقم، لا ينكره. إن سُئلت عن نجم، فالسؤال ما الذي وُجد، لا هل وُجد شيء.
• اسأل عن تاريخ التوليد. تُنتج التقارير وفق القواعد المعمول بها حين تُولَّد، ولقطة شاشة لنجمٍ بلا تاريخ لا تخبرك شيئًا عن أي قاعدة أنتجته. ينطبق الشيء نفسه على حالات التقرير الأخرى: الملف لقطة، لا قراءةً حية.
• اسأل ماذا أيضًا على التقرير. يقول Turnitin إن مؤشر وتقرير كشف الكتابة بالذكاء الاصطناعي ليسا مرئيين للطلاب، وعلى المدرس تنزيل ومشاركة الـ PDF. النجم بندٌ على مستند يحوي أيضًا نتيجة Similarity ومعلومات الملف وملاحظات المعالجة. قراءة بقية التقرير يمكن أن تُبين هل ما تنظر إليه حاضرٌ وأي تقرير هو.
• لا تحاول مقارنة نجمين. التقارير التي يمكن مقارنتها هي تلك عند 20% وفوق، حيث الرقم والإبرازات كلاهما ظاهر. قد يمثل نجمان رقمين خلفيين مختلفين ولا يقول أيٌّ من التقريرين لك إن كان كذلك.

إن عاد تقرير بنسبة 20% أو أكثر، فهذا النطاق حيث يعطيك التقرير شيئًا تتصرف به: رقمٌ ومقاطع مُبرزة. إعادة كتابة موجهة بالتقرير تستورد تلك المقاطع كنطاقها، ولا تُمسّ سوى تلك المقاطع. إن أعلّم تقريرٌ لاحق مقاطع بعد، فيمكن إعادة تشغيلها بلا كلفة. تحت 20% لا إبرازات تُستورد، فلا يثور السؤال.

لا شيء من ذلك تنبؤٌ. لم يقل Turnitin قط كيف ينبغي لتحرير بعينه أن يحرك نتيجةً، وقاعدة النجم تعني أن تحت 20% لا أحد يستطيع التحقق من مثل ذلك الادعاء. ما تقرره إعادة الكتابة الموجهة بالتقرير هو أي كلماتٍ تُمسّ وأيها يبقى مكتوبًا كما هو.

هل يعني النجم أن نتيجتي صفر؟ لا. النجم يغطي النطاق من 1% إلى 19%. يقول Turnitin "no score or highlights are attributed for AI detection scores in the 1% to 19% range" (لا تُنسب نتيجة ولا إبرازات لنتائج كشف الذكاء الاصطناعي في النطاق من 1% إلى 19%) وإن نتائج في ذلك النطاق "are now indicated with an asterisk (*%) and no percentage is attributed" (تُشار إليها الآن بنجم (*%) ولا تُنسب نسبة مئوية). الصفر حالة منفصلة بمؤشرها. النجم يعني أنه وُجد شيءٌ ويُحتفظ بالرقم.

لماذا يُظهر Turnitin نجمًا بدل رقم؟ لتجنب الإيجابيات الكاذبة. تقول أسئلة Turnitin الشائعة "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (لتجنب وقوع محتمل للإيجابيات الكاذبة، لا تُنسب نتيجة ولا إبرازات لنتائج كشف الذكاء الاصطناعي في النطاق من 1% إلى 19%.) تحمل النتائج في ذلك النطاق خطر إيجابيات كاذبة أعلى، فيأبى التقرير إظهارها.

هل أستطيع معرفة الرقم الحقيقي خلف النجم؟ ليس من التقرير. الرقم والإبرازات كلاهما محتجَزٌ في ذلك النطاق. لا سبيل لقراءة الرقم الخلفي من تقرير حالي يُظهر نجمًا.

هل أستطيع مقارنة تقريرين كلاهما يُظهر نجمًا؟ ليس بإفادة. قد يحمل نجمان نتائج خلفية مختلفة ولا يقول أيٌّ من التقريرين لك إن كان كذلك. التقارير التي يمكن مقارنتها هي عند 20% وفوق، حيث الرقم والإبرازات كلاهما ظاهر.

هل يعني النجم أن التقرير معطّل؟ لا. هو قاعدة عرضٍ، لا خطأ. شرطة رمادية مزدوجة منفصلة تعني أن الملف تعذر معالجته، وعلامة تعجب تعني أن المعالجة فشلت. النجم يعني أن المعالجة نجحت ووُجد شيءٌ، وأن النتيجة محتجَزة.

هل 20% هو الحد الذي يقف عنده النجم؟ نعم. عند 20% وفوق يُظهر التقرير رقمًا ومقاطع مُبرزة. تحت 20%، الرقم الدقيق الوحيد الذي يُظهره التقرير هو 0%. كل ما بين 1% و19% هو النجم. تناولنا ما يعنيه 20% كحدٍ في هل 20% من الذكاء الاصطناعي مرتفع جدًا؟.