صحّحتُ ورقة البحث وارتفعت درجة الذكاء الاصطناعي

التقرير الثاني الذي يُظهر رقماً أعلى من الأول لا يقيس جودة تنقيحك. ثلاثة عناصر معلنة من طريقة إنتاج Turnitin للنسبة المئوية يمكن أن يرفعها كلٌّ منها على حدة. تُقيَّم الجمل داخل مقاطع متداخلة، فتعديلٌ واحد يغيّر ما تُجمَّع معه الجمل المجاورة، وليس لهذا الأثر نطاق ثابت. وتُحسَب النسبة المئوية على النثر المؤهَّل فقط، فالتنقيح الذي يُخرج نثراً من المستند يصغّر المقام بينما يبقى النص المعلَّم على حاله. والتظليلات التي يمكنك عدّها والرقم الموجود على الصفحة الأولى كمّيتان مختلفتان، ويجوز أن تتحركا في اتجاهين متعاكسين داخل التقرير نفسه.

لا شيء من هذا يقول إن التنقيح كان خاطئاً أو إن الكتابة ساءت. ما يقوله هو أن الكمية المُبلَّغ عنها لا تسلك السلوك الذي تدعوك كلمة "النسبة المئوية" إلى افتراضه. في ما يلي كل آلية بجوار المستند الذي جاءت منه، إضافة إلى آلية رابعة لا تؤثر إلا إذا كان التنقيح قد قصّر المستند كثيراً أيضاً، ثم ما يُثبتُه الارتفاع وما لا يُثبته.

ابدأ بكيفية حصول الجملة على درجة، فالجواب أنها لا تحصل على درجة خاصة بها. تصف أسئلة Turnitin الشائعة هذه العملية في فقرة واحدة:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (عند إرسال ورقة إلى Turnitin، تُستخرج الجمل من الإرسال وتُقسَّم إلى أقسام متداخلة من أجل تحليل التنبؤ. ويصنّف نموذج كشف الذكاء الاصطناعي كل قسم ويعطيه قيمة بين 0 و1، تدل على احتمال أن يكون النص على الأرجح بشرياً أو مُنتَجاً بالذكاء الاصطناعي. وترث كل جملة مؤهلة داخل هذه الأقسام درجة القسم. ولأن الأقسام تتداخل، قد يكون لبعض الجمل درجات متعددة، تُجمع بعد ذلك في درجة واحدة. ثم تُحسب هذه الدرجات على مستوى الجمل وتُستخدم لحساب درجة الكتابة بالذكاء الاصطناعي للمستند ككل.)

كلمتان في هذا النص تحملان المشكلة كلها: "overlapping" (متداخلة) و"pooled" (مجموعة). الجملة تقع داخل أكثر من مقطع، ويُصنَّف كل مقطع ككتلة واحدة. فكل درجة تحملها جملة ما قد أنتجتها جزئياً الجمل المجاورة لها.

أعد كتابة جملة واحدة تكون قد غيّرت مدخلاً من مدخلات درجات جاراتها، سواء مستها أم لا. ويمكن لفقرة تركتَها عمداً على حالها أن تعود معلَّمة لأن المقطع الذي يضمها صار يضمّ نصاً آخر. ويحدث العكس أيضاً، وهو الاحتمال الذي لا يكتب أحد ليسأل عنه.

حدود المقاطع نفسها عنصر متحرك في رواية المورّد. ففي ملاحظة إصدار مؤرَّخة 24 مايو 2023، تصف عملاً أُنجز لتقليل الإيجابيات الخاطئة في بدايات المستندات ونهاياتها، أضاف Turnitin:

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (كما عملنا على جعل اكتشاف حدود المقاطع لدينا أكثر دقة، وهو ما قد يؤدي في بعض الحالات النادرة إلى تغيّر الحدود مقارنة بإصدار سابق.)

كان ذلك تحسيناً أُجري عام 2023 لا وصفاً لخلل حالي، ويستحق القراءة لسبب واحد محدَّد: حدود المقاطع جزء من العملية، وTurnitin قد وثّق تغييرها. وتوضح الأسئلة الشائعة أيضاً وجود التجميع والحساب الإجمالي. وما لا تنشره هو قاعدة التجميع، أو أي ترجيح، أو خوارزمية الحساب الإجمالي. فلا سبيل إلى معرفة مسبقة بالجارات التي سيحرّكها تعديل بعينه، أو بالاتجاه الذي ستتحرك فيه.

الآلية الثانية لا علاقة لها بالتصنيف إطلاقاً. إنها حساب، وهي مصدر أكبر المفاجآت.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission." (لا يتضمن هذا النص المؤهَّل إلا جملاً نثرية، أي أننا نحلل فقط كتل النص المكتوبة بجمل نحوية قياسية، ولا ندرج أنواعاً أخرى من الكتابة مثل القوائم أو النقاط (تراكيب قصيرة غير جملية) أو غيرها من التراكيب غير الجملية. وهذه النسبة المئوية ليست بالضرورة نسبة الإرسال بأكمله.)

لنضع أرقاماً على ذلك. لنفترض أن النسخة الأولى ضمّت 6,000 كلمة من النثر المؤهَّل، عاد منها 1,800 كلمة معلَّمة: 30%. وفي النسخة الثانية تعيد كتابة 300 كلمة معلَّمة فتتوقف عن كونها معلَّمة، ويبقى 1,500. وفي الجلسة نفسها، ولأن المشرف قال إن قسم المناقشة ثقيل، تحوّل 2,400 كلمة أخرى إلى ملخّص نقطي وجدول أرقام. أصبح النثر المؤهَّل الآن 3,600 كلمة. و1,500 من 3,600 أقل قليلاً من 42%. ارتفعت الدرجة اثنتي عشرة نقطة في تنقيح قلّ فيه النص المعلَّم عمّا سبق، ولم يُعلَّم فيه أي شيء جديد في أي مكان.

ينتهي هذان السطران من أغسطس 2023 بالطريقة نفسها، إذ يطلبان منك إعادة إرسال ورقة قديمة قبل أن ينطبق عليها أيّ من التغييرين؛ فما تصفانه هو كيف يُنتَج تقرير الآن، لا كيف أُنتج تقرير قديم. ولا شيء في الجدول نصيحة. فاثنان من تلك الصفوف يصفان جعل المستند أصعب قراءة، والمُقيِّم الذي يستلم قسم مناقشة على شكل نقاط يلاحظ ذلك. والسبب في معرفة القائمة تشخيصي: إن كان أحد تلك الصفوف يصف تنقيحك، فالحركة لها تفسير لا يقول شيئاً عن طريقة قراءة جملك. ولحالة قائمة المراجع تعقيدها الخاص، وقد فككناها في لماذا علّم Turnitin مراجعي.

يفحص معظم الناس التظليلات أولاً، لأن قائمة أقصر منها هي الجزء الذي يبدو تقدّماً. ويقول Turnitin بوضوح إن الاثنين يمكن أن يختلفا:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (وهذا يعني أن المستند الذي يحتوي على عدة أنواع مختلفة من الكتابة سيؤدي إلى تفاوت بين النسبة المئوية والتظليلات.)

لذا فإن قولك إن عدد المقاطع المعلَّمة عندك أقل من المرة الماضية ومع ذلك ارتفع الرقم ليس تناقضاً يحتاج إلى حل. إنهما كمّيتان بمقامين مختلفين تُقرآن وكأنهما واحدة. وتحت عتبة 20% لا يوجد شيء يُحصى: فـ Turnitin يحجب الدرجة والتظليلات معاً للنتائج الواقعة في نطاق 1% إلى 19%، فالتقرير الخالي من التظليلات ليس تقريراً لم يُعلَّم فيه شيء. وقد مررنا بأجزاء التقرير واحداً تلو الآخر في كيف تقرأ تقرير الكتابة بالذكاء الاصطناعي من Turnitin.

إن كان التنقيح أيضاً حذفاً، فهناك آلية رابعة، وتنطبق على الإرسالات القصيرة على وجه الخصوص:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (في المستندات القصيرة التي لا تعدو بضع مئات من الكلمات، سيكون التنبؤ في معظمه "كل شيء أو لا شيء"، لأننا نتنبأ على مقطع واحد دون فرصة للتداخل. وهذا يعني أن بعض النص الذي يمزج محتوى مُنتَجاً بالذكاء الاصطناعي ومحتوى أصلياً قد يُعلَّم بالكامل كأنه مُنتَج بالذكاء الاصطناعي.)

التداخل الذي ينعّم المستند الطويل غير متاح في المستند القصير، ونمط الخطأ الذي يصفه Turnitin يتجه صعوداً: محتوى مختلط يُعلَّم بالكامل كأنه من صنع الذكاء الاصطناعي. وهناك أيضاً حد أدنى تحت ذلك، إذ تطلب متطلبات الملف 300 كلمة على الأقل من النثر قبل أن يُولَّد أي تقرير، وقد تناولنا ذلك في هل يمكن لـ Turnitin فحص رسالة كاملة. وبين الأمرين، تنقيح قصّر النص وتنقيح غيّر نثره تجربتان تُجريان في وقت واحد، ويردّ التقرير برقم واحد عن كليهما.

لا شيء في التقرير يسجّل ما غيّرته. ولا يوجد حقل ينسب الحركة إلى تعديل بعينه. فالارتفاع ملاحظة على ملفين، وليس حكماً على العمل الذي جرى بينهما.

• لا يُثبت أن تعديلاتك جعلت الكتابة تبدو أشبه بما ينتجه الذكاء الاصطناعي. ففي ظل الآليات المذكورة أعلاه، يمكن أن يرتفع الرقم بينما تعود كل جملة أعدتَ كتابتها نظيفة.
• لا يُثبت أن الرقم الأول هو الذي كان جديراً بالثقة. فالتقريران ناتجان منفصلان، ولا أحدهما يفسّر سبب اختلافه عن الآخر.
• لا يُثبت أن جولة إعادة كتابة أخرى هي الخطوة التالية. فإن كان المقام قد تحرك، فجولة أخرى على النثر لا تغيّر سوى البسط.

وهناك جملة في أسئلة Turnitin الشائعة تنتمي إلى هذه المحادثة، وكثيراً ما تُقتبس مع حذف نصفها الثاني:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (قد تشمل الإيجابيات الخاطئة أحياناً (تعليم نص كتبه إنسان خطأً على أنه مُنتَج بالذكاء الاصطناعي) محتوى لا تنوّع بنيوياً فيه كثيراً، ونصاً يكرّر نفسه حرفياً، أو نصاً أُعيدت صياغته دون تطوير أفكار جديدة. وإذا أظهر مؤشرنا قدراً أكبر من الكتابة بالذكاء الاصطناعي في مثل هذا النص، فننصحك بأخذ ذلك في الاعتبار عند النظر إلى النسبة المئوية المشار إليها.)

اقرأها حتى نهايتها تجدها ليست اتهاماً موجّهاً إليك. إنها المورّد يسمّي أنواعاً من الكتابة البشرية يمكن لنموذجه أن يعلّمها خطأً، ثم يطلب ممّن يقرأ التقرير أن يأخذ هذا الاحتمال في الاعتبار عند النظر إلى النسبة المئوية. وإن كان مشرف ينظر إلى رقم ارتفع، فإن هذا التحذير يقع في الصفحة نفسها التي يقع فيها الرقم. وقائمة التحرير اليدوي المبنية على النصف الأول موجودة في كيف تجعل نص الذكاء الاصطناعي بشرياً دون أداة، وطريقة مقارنة تقريرين مقطعاً بمقطع بدلاً من مجموع مقابل مجموع في ما زال معلَّماً بعد إعادة فحص Turnitin.

كل ما سبق حجة عن النطاق. فإن كان تغيير جملة يغيّر ما تُجمع معه جاراتها، فأصغر ما يكون تغييره منطقياً أكبر من جملة، والمقاطع التي أنت راضٍ عنها جديرة بأن تُترك كما هي تماماً.

هذا هو النطاق الذي تصفه أداة HumanPen في صفحة التقرير العامة. ترفع ملف DOCX مع تقرير ذكاء اصطناعي من Turnitin أو iThenticate، والمقاطع المعلَّمة هي التي تحدد ما يُعاد كتابته. وكل ما عداها يبقى مثبتاً. وتذكر صفحة humanize العامة أيضاً أن الفاتورة تُحسب على الكلمات التي أُعيدت كتابتها فعلاً، لا على حجم الملف الذي أرسلته.

إن ظل تقرير لاحق يعلّم مقاطع، فالأسئلة الشائعة العامة تصف جولة ثانية مجانية على المقاطع التي لا تزال معلَّمة. وقاعدة الخدمة هذه ليست تنبؤاً. فهي لا تقول ما الذي سيُظهره التقرير التالي، ولم ينشر Turnitin أي ربط بين تعديل وحركة في الدرجة.

هل يمكن لدرجة الذكاء الاصطناعي من Turnitin أن ترتفع حقاً بعد التنقيح؟ نعم، ولا شيء غير معتاد في ذلك. فالنسبة المئوية لا تُجمَّع من أحكام على مستوى الجملة، فليس لها ما يدعوها إلى متابعة عدد الجمل التي أصلحتها. والمقاطع المتداخلة، واختلاف مقدار النثر المؤهَّل، وقِصَر المستند، كلٌّ منها يحركها على حدة.

هل يعني الرقم الأعلى أن تعديلاتي جعلت الأمور أسوأ؟ ليس في حد ذاته. فالتقرير لا يحوي أي سجل لما غيّرته، ولا ينسب الحركة إلى أي تعديل. والارتفاع يتفق مع تعديلات نجحت، وتعديلات لم تفعل شيئاً، ومستند تغيّرت بنيته تحت الحساب.

عدد الجمل المعلَّمة عندي أقل لكن النسبة المئوية أعلى. أيهما الصحيح؟ كلاهما، لأنهما ليستا رؤيتين للكمية نفسها. يقول Turnitin إن المستند الذي يخلط أنواعاً من الكتابة سيُظهر تفاوتاً بين النسبة المئوية والتظليلات، إذ تُحسَب النسبة المئوية على النثر المؤهَّل في حين يقع التظليل على الملف بأكمله.

حذفت كثيراً من النص للالتزام بحدّ الكلمات فقفزت الدرجة. لماذا؟ الأرجح أنه المقام. فالنسبة المئوية تجري على النثر المؤهَّل، فإزالة نثر غير معلَّم ترفع الحصة المعلَّمة دون أي تغيير في النص المعلَّم. وإن كانت النتيجة الآن بضع مئات من الكلمات فقط، فإن Turnitin يقول أيضاً إن المستندات القصيرة يُتوقّع لها في الغالب أن تكون "كل شيء أو لا شيء".

هل أعيد كتابة الورقة كلها؟ تلك هي الاستجابة التي يدعو إليها الرقم، ونادراً ما تكون الاستجابة التي يدعمها الدليل. قارن مواضع التظليلات في التقريرين قبل أن تقرر مقدار ما ستلمسه، وثبّت كل ما يحمل معنىً في صياغته الدقيقة، كالأرقام والاقتباسات والتعريفات وخطوات المنهج.