اختيار نموذج تضمين للعربية: منهجية قياس لا قائمة توصيات

سؤال يتكرّر عليّ: «ما أفضل نموذج تضمين للعربية؟» والجواب الأمين أن أحدًا لا يعرف — لبياناتك أنت. أي إجابة مباشرة إما تسويق أو نقل عن لوحة صدارة تقيس شيئًا آخر.

معيار MTEB [1] مرجع نافع لتضييق القائمة: يجمع عشرات المهام وأكثر من مئة مجموعة بيانات، ويكشف أن ترتيب النماذج يختلف باختلاف المهمة، وأن النموذج الأعلى في التصنيف قد لا يكون الأعلى في الاسترجاع. وتضيف تجربة BEIR [2] الدرس المكمّل: الأداء خارج نطاق التدريب يتراجع، وبيانات مؤسستك هي تعريف «خارج النطاق».

أربعة معايير للمقارنة

نموذج أدقّ بنقطتين مئويتين وأبطأ ثلاث مرات قد يكون الخيار الخاطئ في واجهة تفاعلية. القرار مقايضة لا سباق رقم واحد.

بناء الاختبار في ساعتين

الخطوة ١ — مجموعة الاختبار. خمسون سؤالًا حقيقيًّا من مستخدميك، ولكل سؤال المقطع الصحيح في مستنداتك. هذا الجزء لا يُختصر، وهو أصل ستعيد استعماله في كل قرار لاحق.

الخطوة ٢ — قائمة قصيرة. ثلاثة إلى خمسة مرشّحين: نموذج متعدّد اللغات مفتوح، نموذج عربي متخصّص إن وُجد، وواجهة تضمين مُدارة.

الخطوة ٣ — التشغيل.

# pip install sentence-transformers==3.0.1
from sentence_transformers import SentenceTransformer
import numpy as np

def recall_at_k(model_name, questions, gold_ids, passages, k=5, prefix=("query: ", "passage: ")):
    model = SentenceTransformer(model_name)
    q_pre, p_pre = prefix
    doc_vecs = model.encode([p_pre + p for p in passages], normalize_embeddings=True)
    hits = 0
    for question, gold in zip(questions, gold_ids):
        q_vec = model.encode([q_pre + question], normalize_embeddings=True)[0]
        top = np.argsort(doc_vecs @ q_vec)[::-1][:k]     # جداء داخلي على متجهات مطبَّعة
        hits += int(gold in top)
    return hits / len(questions)

الخطوة ٤ — القراءة. جدول بالمعايير الأربعة، والاختيار بالمقايضة لا بالرقم الأعلى وحده.

التفاصيل التي تُفسد القياس بصمت

• البادئات: عائلة E5 [3] دُرّبت بصيغة query: وpassage:، وإسقاطها يخفض النتيجة بلا رسالة خطأ. ونماذج أخرى لا تستخدم بادئات أصلًا — راجع بطاقة كل نموذج قبل القياس.
• الطول الأقصى: مقطع أطول من حدّ النموذج يُقتطع بصمت فتفقد نهايته.
• التطبيع: قارن اتجاهات لا أطوالًا؛ طبّع المتجهات واستخدم الجداء الداخلي.
• تطبيع النصّ العربي: توحيد الألف والهمزة، وحذف التشكيل، وتوحيد الأرقام — على المستندات والأسئلة معًا وبالقواعد نفسها.
• الاتساق: أي تغيير في النموذج أو البادئة أو التطبيع يستوجب إعادة بناء الفهرس كاملًا؛ متجهات من نموذجين في فهرس واحد بلا معنى.

متى لا يستحق البحث الطويل

في نموذج أوّلي، خذ نموذجًا متعدّد اللغات معروفًا وامضِ. اختيار نموذج التضمين قرار قابل للتراجع بكلفة إعادة فهرسة، لا قرار معماري مصيري. أنفق وقتك أولًا على التقطيع وعلى بناء المجموعة الذهبية — أثرهما أكبر بمراتب.

الأخطاء الشائعة

1. الاختيار من لوحة صدارة بلا قياس محلي.
2. مقارنة نماذج ببادئات أو تطبيع مختلف — مقارنة غير عادلة.
3. تجاهل الكمون حتى تظهر المشكلة في الإنتاج.
4. اختيار بُعد عالٍ بلا حاجة، فيتضخّم الفهرس ويبطؤ البحث.
5. نسيان أن تغيير النموذج يفرض إعادة بناء الفهرس.

الأسئلة الشائعة

هل النموذج متعدّد اللغات أضعف من نموذج عربي متخصّص؟

ليس بالضرورة. النماذج متعدّدة اللغات الحديثة قوية على العربية، وقد تتفوّق على متخصّص أقدم أو مدرَّب على نطاق أضيق — خصوصًا مع النصوص المختلطة عربي/إنجليزي الشائعة في التوثيق التقني. القياس على بياناتك هو الفيصل.

واجهة مُدارة أم نموذج محلي؟

المُدارة أسرع للبدء وبلا عبء تشغيلي. المحلي يبقي البيانات عندك ويلغي كلفة الاستدعاء مقابل عبء استضافة. إن كانت المستندات حسّاسة، يُحسم القرار غالبًا لصالح المحلي بمعزل عن الأداء.

ما بُعد المتجه المناسب؟

كلما زاد البُعد زادت الدقة نظريًّا وزاد حجم الفهرس وكلفة البحث. الأبعاد الشائعة بين ٣٨٤ و١٥٣٦ تغطّي معظم الحالات، وبعض النماذج الحديثة تدعم تقليص البُعد بأثر محدود على الجودة — قِسه قبل الاعتماد عليه.

كل كم يُعاد التقييم؟

كل ستة أشهر تقريبًا، أو عند تغيّر جوهري في طبيعة المستندات، أو عند صدور نموذج يعد بفارق كبير. أعِد التقييم بالمجموعة الذهبية نفسها لتبقى المقارنة عادلة.

المراجع

1. Muennighoff, N. et al. MTEB: Massive Text Embedding Benchmark. EACL 2023. arXiv:2210.07316
2. Thakur, N. et al. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of IR Models. arXiv:2104.08663
3. Wang, L. et al. Text Embeddings by Weakly-Supervised Contrastive Pre-training (E5). arXiv:2212.03533
4. Reimers, N. & Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv:1908.10084