كيف يعمل ChatGPT؟ من الرمز الأول إلى الجواب الكامل

عندما ترسل سؤالًا إلى ChatGPT لا «يفكر» في الإجابة بالمعنى البشري. كل ما يفعله هو معالجة النص المدخل، ثم توليد النص المخرج رمزًا تلو الآخر، بناءً على أنماط إحصائية تعلّمها خلال التدريب.

العملية تتكون من ثلاث مراحل: التقطيع إلى رموز (Tokenization)، ثم التنبؤ بالكلمة التالية، ثم أخذ العينات (Sampling) لاختيار الرمز الفعلي. فهم هذه المراحل يزيل الغموض حول كيف «يعرف» النموذج الإجابة، ولماذا يخطئ أحيانًا.

المرحلة الأولى: التقطيع إلى رموز

أول خطوة هي تحويل النص الذي كتبته إلى سلسلة أرقام يستطيع النموذج معالجتها.

الرمز (Token) قد يكون كلمة كاملة أو جزءًا من كلمة أو حرفًا واحدًا. جملة مثل «كيف يعمل ChatGPT؟» قد تُقسَّم إلى رموز مثل: «كيف»، «يع»، «مل»، «Chat»، «G»، «PT»، «؟». ولكل رمز رقم فريد في مفردات النموذج (Vocabulary).

يستخدم ChatGPT تقنية تسمى ترميز أزواج البايتات (Byte Pair Encoding) التي تتعلم تقسيم الكلمات إلى أجزاء شائعة في بيانات التدريب. هذا يسمح بالتعامل مع كلمات جديدة لم يرها من قبل، بتقسيمها إلى أجزاء مألوفة.

نتيجة هذه المرحلة سلسلة أرقام تدخل إلى النموذج للمعالجة. وللعربية شأن خاص هنا يرفع التكلفة — تفصيله في ما هو token؟.

المرحلة الثانية: التنبؤ بالكلمة التالية

بعد التقطيع تمرّ سلسلة الرموز عبر بنية تسمى «المحوّل» (Transformer). يستخدم ChatGPT نسخة منها تسمى Decoder-only، أي أنه يستخدم جزء التوليد من البنية الأصلية دون جزء الترميز.

البنية تتكون من طبقات متعددة. كل طبقة تطبّق عمليات رياضية على الرموز، مع آلية تسمى «الانتباه الذاتي» (Self-Attention) تسمح للنموذج بوزن أهمية كل رمز في السلسلة بالنسبة لبقيّة الرموز.

بعد المرور عبر الطبقات، يُنتج النموذج «لوجيتس» (Logits) — درجات خام لكل رمز ممكن في المفردات. تُحوَّل هذه الدرجات إلى احتمالات بدالة Softmax، فينتج توزيع احتمالي على كل الرموز الممكنة.

رياضيًا يقدّر النموذج الاحتمال الشرطي: P(الرمز التالي | السياق)

المرحلة الثالثة: أخذ العينات

بعد حساب الاحتمالات يجب اختيار رمز واحد لإضافته إلى النص. وهنا عدّة استراتيجيات:

• الاختيار الجشع (Greedy Decoding): يختار الرمز الأعلى احتمالًا دائمًا. سريع، لكنه قد ينتج نصًا متكررًا.
• أخذ العينات الاحتمالي: يختار رمزًا عشوائيًا من التوزيع، فيسمح بتنوّع أكبر.
• درجة الحرارة (Temperature): معامل يغيّر شكل التوزيع. القيمة المنخفضة (0.2) تجعله أكثر تركيزًا على الرموز الأعلى احتمالًا، والعالية (1.0 فأكثر) تجعله أكثر عشوائية.
• Top-K: يختار من بين الرموز K الأعلى احتمالًا فقط.
• Top-P: يختار من مجموعة الرموز التي تشكّل معًا احتمالًا تراكميًا P (مثل 0.9)، فيُستبعَد ما ندر جدًّا.

بعد اختيار الرمز يُضاف إلى النص، وتُعاد العملية مع النص الأطول. تتكرر الحلقة حتى يولّد النموذج رمز نهاية أو يبلغ الحدّ الأقصى للطول.

متى لا تحتاج إلى فهم هذه الآلية؟

• عند استخدام ChatGPT للمهام اليومية: الكتابة والتلخيص والأسئلة العامة.
• عند العمل في أدوار غير تقنية.
• عندما تكون المهمة بسيطة ولا تتطلب ضبط إعدادات متقدمة.

متى تحتاج إليها بعمق؟

• عند البناء على واجهة برمجية: ستحتاج إلى اختيار استراتيجية أخذ العينات وضبط درجة الحرارة وتحديد طول الإجابة.
• عند تحسين جودة الإجابات: فهم أثر الإعدادات على التنوّع والتماسك يساعدك على ضبط النموذج لمهمّتك.
• عند تقييم المخاطر: فهم الآلية يساعد على توقّع حالات الفشل مثل الهلوسة والتكرار.

الأسئلة الشائعة

هل ChatGPT يفهم ما يكتبه؟

لا. يتنبأ بالرمز التالي بناءً على أنماط إحصائية تعلّمها من بيانات التدريب. قد يبدو وكأنه يفهم، لكن ذلك أثر التدريب على كميات ضخمة من النصوص.

لماذا يخطئ أحيانًا في معلومات واقعية؟

لأنه يولّد النص الأكثر احتمالًا، ولا يسترجع حقائق من قاعدة بيانات. إن كانت الأنماط في التدريب تحوي معلومات خاطئة أو متناقضة، قد يولّد إجابات غير دقيقة.

ما الفرق بين درجة الحرارة وTop-P؟

درجة الحرارة تغيّر شكل التوزيع الاحتمالي كلّه. وTop-P يحدّد مجموعة فرعية من الرموز ثم يأخذ عينة منها. يمكن استخدامهما معًا للتحكم في التنوّع والتماسك.

كيف يولّد إجابات طويلة متماسكة؟

بالتكرار: كل رمز يُولَّد يُضاف إلى السياق، ثم يُعاد التنبؤ بناءً على النص الأطول. وآلية الانتباه الذاتي تسمح بوزن أهمية الرموز السابقة، فيحافظ على التماسك عبر فقرات طويلة.

المراجع

1. Vaswani, A. et al. Attention Is All You Need. arXiv
2. Radford, A. et al. Language Models are Unsupervised Multitask Learners (GPT-2). openai.com
3. Hugging Face. How do Transformers work? huggingface.co
4. Holtzman, A. et al. The Curious Case of Neural Text Degeneration (Top-P). arXiv
5. Sennrich, R. et al. Neural Machine Translation of Rare Words with Subword Units (BPE). arXiv