التقييم4 دقائق قراءة
هندسة التوجيه: قواعد قابلة للاختبار لا وصفات سحرية
ما الذي أثبتته الأبحاث فعلًا في سلسلة التفكير والأمثلة القليلة، وكيف تُبنى تعليمة قابلة للاختبار، ولماذا مخطط الإخراج الصارم أنفع من عشر عبارات تأكيد.
اقرأ المقالالتقييم والقياس
كيف تعرف أن نظامك تحسّن فعلًا: مجموعات اختبار ذهبية، مقاييس RAG، حكم النموذج على النموذج، واختبارات الانحدار.
المجموعات الذهبيةمقاييس RAGLLM-as-judgeاختبارات الانحدار
التقييم4 دقائق قراءة
اختبارات الانحدار للتوجيهات في CI
كيف تحوّل تعديل التوجيه من مقامرة إلى تغيير مُختبَر: بوابة في التكامل المستمر تمنع الانحدار، وتتعامل مع لاحتمية النموذج بلا اختبارات هشّة.
اقرأ المقالالتقييم4 دقائق قراءة
حكم النموذج على النموذج: أين يصدق وأين ينهار
ما أثبتته ورقة MT-Bench عن اتفاق النماذج الحاكمة مع البشر، وثلاثة انحيازات موثّقة تفسد الحكم، وكيف تعاير حَكَمك قبل الاعتماد عليه.
اقرأ المقالالتقييم4 دقائق قراءة
قياس الهلوسة: من الشكوى إلى رقم
تعريف إجرائي للهلوسة يمكن قياسه، وطريقة تفكيك الجواب إلى ادعاءات والتحقّق منها، ولماذا الجواب الصحيح غير المسنَد يُحسب هلوسة أيضًا.
اقرأ المقالالتقييم4 دقائق قراءة
بناء مجموعة اختبار ذهبية بخمسين سؤالًا
كيف تجمع خمسين سؤالًا حقيقيًّا وتوثّق إجاباتها لتصير معيارًا يقيس كل تغيير في نظامك، وأي فئات الأسئلة لا يجوز أن تنقص منها.
اقرأ المقالالتقييم5 دقائق قراءة
تقييم أنظمة RAG: من الانطباع إلى رقم تثق به
كيف تبني مجموعة اختبار ذهبية في يوم، وأي المقاييس تخصّ الاسترجاع وأيها تخصّ التوليد، وماذا كشفت ورقة MT-Bench عن حدود حكم النموذج على النموذج.
اقرأ المقال