هندسة التوجيه: قواعد قابلة للاختبار لا وصفات سحرية

«هندسة التوجيه» صارت كلمة فضفاضة تُلصق بأي عبث بالنصّ. وما يميّز الهندسة عن العبث شيء واحد: قابلية الاختبار. تعليمة لا تعرف كيف تقيس أثرها ليست قرارًا هندسيًّا.

ما تقوله الأبحاث فعلًا

سلسلة التفكير (Chain-of-Thought) [1]: طلب خطوات وسيطة قبل الجواب رفع الأداء في مهام الاستدلال متعدّد الخطوات — الحساب والمنطق — وظهر أثره بوضوح في النماذج الكبيرة. لكنه ليس مجانيًّا: رموز أكثر، وزمن أطول، وفي المهام البسيطة قد لا يضيف شيئًا.

الاتساق الذاتي (Self-Consistency) [2]: توليد عدة مسارات تفكير واختيار الجواب الأكثر تكرارًا يرفع الدقّة أكثر من مسار واحد — بتكلفة مضاعفة بعدد المسارات. مقايضة صريحة تُقاس ثم تُقرَّر.

الأمثلة القليلة (Few-shot): مثالان أو ثلاثة يوضّحان الصيغة المطلوبة أنفع من فقرة تشرحها. النماذج تقلّد البنية الظاهرة أفضل مما تتّبع الوصف المجرّد.

بنية تعليمة تصمد

مخرج العجز هو ما يفصل نظامًا آمنًا عن نظام يخترع. بلا مخرج مشروع، النموذج يخترع لأنك لم تترك له بديلًا.

الصيغة تُفرَض برمجيًّا لا بالرجاء

بدل عشر عبارات «أعد JSON فقط ولا تكتب شيئًا آخر»، افرض المخطط في الاستدعاء نفسه إن كان مزوّدك يدعم الإخراج المهيكل، وتحقّق منه في كودك. القاعدة العامة: ما يمكن فرضه برمجيًّا لا يُترك للتعليمة.

ما لا يعمل (وشاع)

• التأكيد بالتكرار: «مهم جدًّا! لا تخطئ!» — لا أثر مقيسًا له.
• التهديد أو الإغراء: أساليب تنتشر في المنشورات، ولا تصمد أمام قياس منظّم.
• تعليمة عملاقة تحاول تغطية كل حالة: تزاحم السياق، وتُدفن قيودها الحقيقية وسطه [3].
• «فكّر خطوة بخطوة» في كل مهمة: أضِفها حيث يوجد استدلال متعدّد الخطوات، لا في التصنيف البسيط.

متى لا تحتاج هندسة توجيه أصلًا

إن كان العطل في الاسترجاع أو في المحتوى، فلن تصلحه أي صياغة. التوجيه يوجّه ما وصل؛ ولا يخترع ما لم يصل. اقرأ المقاطع التي دخلت السياق قبل تعديل حرف واحد في التعليمة.

كيف تجرّب تعديلًا على مُوجّه

أكثر «تحسينات» المُوجّهات تعديلات لم تُقَس، وبعضها يضرّ. الإجراء الذي يمنع ذلك:

1. غيّر شيئًا واحدًا. إعادة صياغة كاملة تخفي أيّ تعديل نفع وأيّها ضرّ، وتترك المُوجّه أطول بلا سبب معروف.
2. شغّل على مجموعتك الذهبية قبل التعديل وبعده، بالبذرة ودرجة الحرارة نفسيهما. من غير قياس قبليّ لا معنى لكلمة «تحسّن».
3. انظر إلى ما ساء أيضًا. التعديل الذي يرفع عشرة أمثلة ويُسقط ثلاثة قد يكون خسارة إن كانت الثلاثة هي حالاتك الحرجة. العدّ وحده يضلّل.
4. ثبّت التعديل في الاختبارات قبل نشره. المُوجّه الذي تحسّن ولم يُحفَظ توقّعه سيعود إلى ما كان عند أول تعديل لاحق.
5. وثّق سبب التعديل في سطر واحد بجوار المُوجّه. بعد ثلاثة أشهر لن يتذكّر أحد لماذا هذه الجملة موجودة، وستُحذف — ثم يعود العطل الذي وُضعت لأجله.

المُوجّه أصل برمجيّ بكل معنى الكلمة: يُراجَع، ويُختبر، ويُنسَخ إصداره. عامله بأقلّ من ذلك وستديره بالذاكرة.

الأخطاء الشائعة

1. تعديل التعليمة بلا مجموعة اختبار — تغيير أعمى.
2. تغيير عدة عناصر دفعةً واحدة، فيضيع سبب الفرق.
3. حشو أمثلة كثيرة ترفع الكلفة بلا مكسب مقيس.
4. الاعتماد على التعليمة لفرض صيغة يمكن فرضها برمجيًّا.
5. نسخ تعليمات من الإنترنت بلا اختبارها على بياناتك ونموذجك.

الأسئلة الشائعة

بالعربية أم بالإنجليزية أكتب التعليمة؟

النماذج الحديثة تتبع التعليمة العربية جيدًا، وكتابتها بلغة المحتوى يقلّل خلط اللغات في المخرَج. الفيصل قياسك: شغّل النسختين على مجموعتك الذهبية وقارن.

كم مثالًا في الأمثلة القليلة؟

ابدأ باثنين إلى ثلاثة، وزد فقط إن أظهر القياس تحسّنًا. الأمثلة تستهلك سياقًا وتكلفة، ومكسبها يتلاشى بسرعة بعد الثالث.

هل «فكّر خطوة بخطوة» ينفع دائمًا؟

لا. ينفع في الاستدلال متعدّد الخطوات، ويكلّف رموزًا وزمنًا في غيره. وفي المهام الحسّاسة للكمون قد يكون ضارًّا صافيًا.

المراجع

1. Wei, J. et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv:2201.11903
2. Wang, X. et al. Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171
3. Liu, N. et al. Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172
4. Ouyang, L. et al. Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155