كيف تتحقق من ادعاء أي أداة لإضفاء الطابع البشري بأنها "تحافظ على تنسيقك"

لا يمكن التحقق من أي ادعاء عن التنسيق إلا إذا سمّى أربعة أمور: أي عنصر، وفي أي طبقة من الملف، ومن كم، وكيف تم العدّ. "تحافظ على اقتباساتك" لا تسمّي أياً منها. "نجت عناوين Markdown الموجودة في المدخل في 291 حالة من أصل 552" تسمّيها الأربعة، ويمكنك أن تختلف معها.

أما بقية المقال فهو تطبيق ذلك الاختبار على مجموعة البيانات المفتوحة الوحيدة التي وجدتها في هذه الفئة — التي تبيّن أنها منشورة من قِبل منافس، ومع ذلك تظل أكثر ما يمكن التحقق منه هنا — ثم على أرقامنا نحن، بما فيها الثغرات.

سؤال الطبقة هو السؤال الذي يتم تجاوزه دائماً، وهو الذي يحدّد ما إذا كان الرقم يعني شيئاً بالنسبة لأطروحة. علامة # في بداية السطر ونمط «العنوان 2» في `word/document.xml` شيئان مختلفان لهما طرق فشل مختلفة. قد تكون الأداة مثالية في أحدهما وميؤوساً منها في الآخر.

ابدأ بمن ينشرها، لأن الادعاء يرث مصالح من يطلقه.

مجموعة البيانات التي يستشهد بها الجميع في هذه الفئة هي HumanizerBench، وتحمل صفحة التعريف جملة كان معظم أصحاب المعايير سيدفنونها: "We're operated by WriteHuman, which sells one of the humanizers on this leaderboard." (نحن نُدار من قِبل WriteHuman، التي تبيع إحدى أدوات إضفاء الطابع البشري المدرجة في هذا الترتيب.) وتنتهي كل صفحة في الموقع بالاعتراف نفسه في التذييل، وتحتل WriteHuman المركز الأول في الدورة المقتبسة أدناه. لذا فهي ليست معياراً مستقلاً، وأي استشهاد يصفها بذلك يكون قد تخطّى خطوة.

أمّا ما هي عليه حقاً فهو الشيء الأندر: فهي تنشر الملفات. كل مُدخل وكل مُخرج وكل حكم للكاشف من دورة أغسطس 2026 موجود في مستودع عام بموجب ترخيص CC BY 4.0. فمعيار يديره منافس ويسلّم بياناته الخام يمكن لشخص غريب التحقق منه؛ أمّا موجزٌ يبدو محايداً ولا شيء فيه للتنزيل فلا يمكن التحقق منه. يجب أن ينتقل الشطران معاً، والشطر الثاني هو سبب قيمة الأرقام أدناه.

تتكوّن الدورة من 12 أداة و33 عيّنة، أي 396 اختباراً مكتملاً. وبحساب العناصر الموجودة في المُدخل والتي عادت في المُخرج المناظر:

والآن الأسئلة الأربعة. العنصر: مُسمّى. المقام: منشور. طريقة العدّ: قاعدة يمكنك تطبيقها بنفسك، فعنوان Markdown هو سطر يبدأ بعلامة #، والمقطع العريض هو نص بين نجمتين، والنّجاة محدودة بما كان موجوداً فعلاً في المُدخل، فلا تحصل أي أداة على رصيد لاختراع عنوان لم يكن موجوداً قط. نزّل الدورة وطبّق تلك القاعدة، وستصل إلى هذين الرقمين أو تكتشف أين أخطأتُ. الطبقة: أحرف Markdown في نص عادي. كل ما في تلك المجموعة أُلصق في مربع ثم أُعيد نسخه، ولم يدخل أي `.docx` في الأمر في أي مرحلة.

تلك الملاحظة الأخيرة ليست انتقاداً للمعيار، فهو لم يدّعِ غير ذلك قط. بل هي ما عليك أن تحمله معك حين يستشهد لك به أحد البائعين.

الأسئلة الأربعة نفسها، مُوجَّهة إلينا. وأول ما ينبغي قوله هو ما يحدّد مقدار الثقل الذي تستحقه هذه الأرقام: لقد قِسنا مخرجاتنا نحن، على ملفات اخترناها نحن، وبسكربتنا نحن. إنه بائع يقيس نفسه.

أخذنا ثلاثة أزواج قبل وبعد، وفتحنا كل ملف كملف مضغوط وتتبّعنا `word/document.xml`. عادت أعداد الفقرات متطابقة في الثلاثة (345 و403 و405 على الترتيب). وبلغ إجمالي الفقرات ذات نمط العنوان في المجموعة 152 عند الدخول و152 عند الخروج. والجدول الوحيد في المجموعة لم يتغيّر: 7 صفوف و14 خلية.

العنصر: الفقرات، وأنماط العناوين، وصفوف الجدول وخلاياه. الطبقة: DOCX. المقام: مُعلَن. طريقة العدّ: سكربت يقرأ XML بدلاً من أن يسأل المنتج عمّا فعله.

والجزء الذي لا يمكنك التحقق منه: الملفات مِلكنا ولن ننشرها، فلا يمكن لأحد خارج هذه الشركة أن يصل إلى 152 بإعادة العدّ. هذا ضعف حقيقي في الرقم، وأنا أفضّل تسميته على تزيينه. الذي ينتقل هو الإجراء — الخطوات الست المذكورة أدناه، مطبَّقة على مستند تملكه أنت بدلاً من مستند اخترناه نحن.

والآن الأجزاء التي كانت صفحة تسويقية ستتجاهلها.

صياغة العنوان لا يشملها ذلك الرقم. في المستند ذي 46 عنواناً، عاد 18 عنواناً بصياغة معدَّلة في الإعداد المتوازن مع احتفاظه بالنمط نفسه. النجاة كعنوان والنجاة دون تغيير ادّعاءان مختلفان، والأول فقط هو المقاس أعلاه.

لم يُختبر عدد من العناصر قط، لأن المجموعة لا تحتوي عليها. البحث في الحزم عن علامات حقل جدول المحتويات والإحالة التبادلية والحاشية لا يُسفر عن شيء في الملفات الثلاثة. وهذا يجعل عددنا صامتاً تحديداً عن العناصر التي تعتمد عليها الأطروحة أكثر ما يكون. "نجا الجدول" قياس. أمّا "تنجو الإحالات التبادلية" فسيكون استنتاجاً، وعليك تطبيق هذا التمييز على نسخة أي كان من هذه الجملة، بما فيها نسختنا.

إليك خطأً اكتشفناه في بحثنا نحن، ولهذا أثق بالأسئلة الأربعة أكثر من ثقتي بأي ملخّص.

تضمّنت ورقة داخلية عن تلك المجموعة العامة سطراً يقول إن أربع أدوات محدّدة سجّلت 0% في نجاة العناوين. وبإعادة العدّ من البيانات الخام، تبيّن أن القائمة صحيحة لكنها تعود إلى عمود العريض. أمّا في العناوين فإن إحدى تلك الشركات الأربع عند 58.7%. ولو كان ذلك قد نُشر، لكنّا أصدرنا 0% عن شركة تقول بياناتها العامة عكس ذلك، وكان يمكن لأي شخص إثبات ذلك في خمس دقائق بتنزيل الملف نفسه.

الرقم كان حقيقياً. كل ما حدث أنه انفصل عمّا كان يقيسه، على بُعد مستند واحد من المصدر.

وهذا يمنحك سؤالاً خامساً، وهو أرخص سؤال يمكن طرحه: هل أستطيع العودة إلى البيانات الخام من هنا، ومَن أنتجها؟ إذا كان الجواب تدوينة تستشهد بتدوينة أخرى، فقد قطع الرقم مسافة أبعد مما يستطيع احتماله. وإذا كانت البيانات الخام على بُعد نقرة واحدة لكن من نشروها يبيعون أداة في الجدول نفسه، فلا يزال بإمكانك استخدامها — عليك فقط أن تقول الأمرين معاً، في كل مرة.

لست بحاجة إلى معيار لتفقد أداة تفكّر في استخدامها. أنت بحاجة إلى ملف صعب عن قصد.

1. أنشئ مستند اختبار يحتوي على واحد من كل شيء: مستويان من العناوين، وجدول محتويات تلقائي، وإحالة تبادلية إلى شكل مرقّم، وحاشية، وقائمة مرقّمة، وجدول من عمودين يحتوي أحد خلاياه على رقم ووحدة، وجملة مقتبسة، وثلاثة اقتباسات داخل النص من مدير المراجع لديك.
2. سجّل الأعداد قبل الرفع. المراجع، والحواشي، وصفوف الجدول وخلاياه، والعناوين، وعناصر القائمة.
3. أدخِله في الأداة.
4. افتح النتيجة، وحدّد كل شيء، وحدّث الحقول (Ctrl+A ثم F9). الحقل الحي يُحدَّث أمام عينيك. أمّا الحقل الذي تحوّل إلى أحرف عادية فيبدو مطابقاً ولا يفعل شيئاً، وهذه هي طريقة التمييز بينهما في ثانيتين دون فتح XML.
5. أعد العدّ، ثم قارن الصياغة بشكل منفصل عن البنية. العنوان الذي يظل عنواناً لكنه يقول شيئاً مختلفاً هو نتيجة، وليس فشلاً، لكن عليك أن تعرف أيهما حصلت عليه.
6. اقرأ الجملة المقتبسة والخلية التي تحتوي الرقم. هذان هما الموضعان اللذان تُحدث فيهما إعادة الصياغة السلسة ضرراً لا تراه بالتصفح السريع.

نصف ساعة من هذا تخبرك عن ملفك أكثر مما تخبرك به أي صفحة مقارنة في هذه الفئة، بما في ذلك صفحتنا. فصفحات المقارنة، صفحتنا كأي صفحة أخرى، تُكتب عن مستندات أشخاص آخرين.

أداة HumanPen أداة تعمل على المستندات، لذا فإن طبقة الملف هي ما يهمّنا، والأعداد أعلاه هي ما قسناه عليها. ولا يزال هناك أربعة عناصر لم نقسها، وقد سمّيناها في هذا المقال بدلاً من حذفها.

الجزء الذي هو قرار تصميم لا قياس: لا تُعاد صياغة أي شيء أصغر من فقرة كاملة أبداً، وأي تحديد يقع في وسط فقرة يُوسَّع ليشمل تلك الفقرة ويُعرض عليك أولاً لتأكيده. ويمكن لتقرير مستورد أن يضع هذا الحد بدلاً منك. وتُحتسب الفاتورة من الكلمات المُعاد صياغتها نفسها، وهذه حقيقة تسعير لا ادّعاء حفظ، وأذكرها هنا فقط لأن الأمرين يُباعان كجملة واحدة. ولا تزال الأسئلة الشائعة لدينا تنتهي بـ "Review complex documents after download" (راجع المستندات المعقدة بعد التنزيل)، وهي التعليمات الصحيحة، وليست مما نعتزم تخفيفه.

الادعاء ضيّق عن قصد: فكلما قلّت الفقرات المتغيّرة، قلّت المواضع التي يمكن أن يحدث فيها خطأ ما.

هل يوجد معيار مستقل لهذا؟ ليس في حدود ما وجدتُه. توجد مجموعة بيانات مفتوحة واحدة، HumanizerBench، منشورة بموجب CC BY 4.0 — لكنها تُدار من قِبل WriteHuman التي تبيع إحدى الأدوات التي تصنّفها، لذا فإن «مستقل» ليست الكلمة الصحيحة لها. إنها قابلة للتحقق لا مستقلة، وهاتان خاصيتان مختلفتان: الملفات الخام قابلة للتنزيل، وهو أكثر مما تقدّمه معظم هذه الفئة. كما أنها تقيس تنسيق Markdown في النص العادي لا أي شيء داخل `.docx`. أمّا طبقة المستند فلم أجد لها أي مجموعة بيانات عامة على الإطلاق، ولهذا يستحق الملف الذي تصنعه بنفسك أعلاه نصف الساعة.

تقول أداة إن معدل الحفظ لديها 99%. هل هذا جيد؟ لا يمكن الإجابة كما هي مكتوبة. اسأل: أي عنصر، وفي أي طبقة ملف، ومن كم، وكيف تم العدّ. المعدل بلا مقام وبلا عنصر مسمّى ليس قياساً.

ما أسرع فحص على الإطلاق؟ Ctrl+A ثم F9 في Word. يفصل الحقول الحية عن النص الذي يشبهها فقط، ويستغرق ثانيتين.

لماذا تنجو العناوين ولا تنجو قوائم المراجع أحياناً؟ لأن الآلية مختلفة. العنوان نمط مرتبط بفقرة، وهذا ينجو من إعادة صياغة الكلمات بداخلها. أمّا قائمة المراجع فهي محتوى، لذا فإن تغيّرها يعتمد كلياً على ما إذا كانت داخل نطاق إعادة الصياغة منذ البداية.