في أول أسبوع الموظف الجديد يستلم دليل العمل كامل السياسات، الإجراءات، الحالات، وكيف تتعالج. ومع ذلك، ما يتعلم الشغل من الملفات والاوراق. يتعلمها من الجلوس جنب شخص له سنين في الشغل. لأن الدليل يقول إذا صار كذا، سو كذا. أما الخبير فيعرف إن فيه حالات تشبهها، لكن الحل فيها مختلف. وهذا الفرق غالبا ما يكون مكتوب.
هنا بالضبط تجي فكرة Knowledge Distillation.
النموذج الكبير ما عنده بس الإجابة، عنده خبرة في الحالات والاستثناءات متى الإجابة المعتادة تنفع، ومتى ما تنفع. والفكرة إنك تنقل جزء من هالخبرة إلى نموذج أصغر وأرخص، بدل ما تحاول تنقل النموذج الكبير كله.
السؤال الذي تركته المقالات السابقة مفتوح
في مقال سابق قلت إن الاعتماد على النماذج العملاقة في كل شيء موب حل!، وإن إعادة النظر فيه جاءت مع نضج التطبيقات وارتفاع متطلبات السيادة على البيانات. وقبله تحدثت عن أن القفزات التي نراها اليوم في نماذج LLM ماجت من الحجم، بل من “الخبرة” التي تصنع بعد التدريب الأساسي. لكن فيه سؤال مفتوح!
إذا كانت الخبرة هي اللي تصنع الفرق، وهذه الخبرة تبنى داخل نماذج ضخمة وبميزانيات ضخمة، وش يسوي النموذج الصغير؟ هل يبدأ من الصفر؟
طبعا لا! كل هذا يتم بـ Knowledge Distillation.
الفكرة بدأت بشكلها المعروف مع ورقة Geoffrey Hinton وزملائه عام 2015 Distilling the Knowledge in a Neural Network. الفكرة بسيطة. لما النموذج الكبير يشوف صورة للرقم 2، ما تكون النتيجة عنده مجرد “هذا 2”.
هو فعليًا عنده توزيع احتمالات كامل احتمال كبير إنها 2، واحتمال أصغر إنها 3 أو 7 مثلًا، واحتمالات أقل لأرقام ثانية. وهنا الشيء المهم. هالاحتمالات ما هي مجرد أرقام زيادة. هي تعكس وش الأشياء اللي يشوفها النموذج متشابهة، وش الأشياء اللي يستبعدها، ومتى يكون واثق ومتى يكون متردد. Hinton سمى هالشيء Dark Knowledge
لأنها معرفة موجودة داخل النموذج، لكن ما تظهر لك في الإجابة النهائية. وهنا يجي الـ Knowledge Distillation. بدل ما تدرب النموذج الصغير على الإجابة الصحيحة فقط، تعطيه بعد توزيع النموذج الكبير، وتخليه يتعلم منه. يعني ما تنقل له: “الإجابة 2.” تنقل له شي أقرب إلى “الإجابة 2، وأنا واثق منها، وأشوف 3 أقرب لها من 8.” هنا ينتقل جزء من طريقة اتخاذ القرار. وهذا، في النهاية، أقرب شيء لفكرة الخبرة.
كيف يتعلم بها الطالب (النموذج الصغير)
في نماذج اللغة الحالية، فيه ثلاث طرق رئيسية للـDistillation، وكل وحدة منها تنقل للطالب جزء مختلف من خبرة المعلم.
الأولى: Distillation على مستوى التوزيع.
هنا الطالب ما يشوف النص النهائي فقط. يشوف احتمالات كل كلمة كان المعلم يفكر فيها عند كل خطوة، ويتعلم يقلد هذا التوزيع. يعني بدل ما يتعلم أن الإجابة هي “2”، يتعلم أن المعلم كان يعطي “2” الاحتمال الأكبر، لكنه يرى “3” أقرب من “8”. هذه الطريقة تعطي الطالب معلومات أكثر، لكنها تحتاج الوصول إلى مخرجات المعلم الداخلية، وهذا غالبا يتوفر فقط مع النماذج المفتوحة.
الثانية: Distillation عبر البيانات.
وهذه أبسط. تعطي المعلم سؤال، وهو ينتج الإجابة، ثم تدرب الطالب عليها. لكن الفكرة تطورت من مجرد تقليد الإجابة إلى تقليد طريقة الوصول إليها. وهنا جاءت مشاريع مثل Orca من Microsoft، التي دربت ن sLLM على شروحات GPT-4 بدل الاكتفاء بالإجابة النهائية.
ثم جاء DeepSeek-R1 ورفع الفكرة لمستوى آخر استخدام مسارات التفكير التي ينتجها النموذج الكبير لتدريب نماذج أصغر من Qwen وLlama.والنتيجة كانت لافتة. نماذج صغيرة بدأت تحل مسائل كانت قبل فترة قصيرة تحتاج نماذج أكبر بكثير.
وهذا يرتبط مباشرة بما كتبته في مقال سابق التفكير نفسه صار شيئ يمكن نقله.مو بس النتيجة. طريقة الوصول لها، التراجع عن خطوة، تجربة مسار ثاني… كلها سلوكيات ممكن يتعلمها نموذج أصغر.
الثالثة: On-Policy Distillation.
وهنا الفكرة تختلف شوي. في الطريقتين السابقة، الطالب يتعلم من المسارات اللي مشى فيها المعلم. لكن المشكلة أن الطالب قد لا يعرف أصلا كيف يوصل لنفس المسار. في الـ On-Policy، الطالب يحاول بنفسه، والمعلم يدخل ويقيم اللي سواه ويصححه. وهذا أقرب شيء للتدريب الحقيقي.
مثل الموظف الجديد لما يحاول يحل المشكلة بنفسه، والخبراء ما يعطونه الحل جاهز، لكن يوقفونه عند الخطأ ويقولون له هنا كنت تقدر تسويها بطريقة أفضل. والميزة أن الطالب يتعلم من أخطائه هو، مو فقط من تجارب المعلم.
وهذا أحد الأسباب اللي خلت الطريقة ترجع بقوة مؤخرا لأنها تحاول أخذ جزء من فوائد التعلم المعزز، لكن بتكلفة أقل بكثير.
لكن كيف نجح الطالب اصلا؟
السؤال هنا إذا النموذج الصغير يقدر يوصل لهالمستوى، ليش ما وصل له بالتدريب العادي؟ لأن التدريب العادي يعطيه البيانات مثل ما هي. أما Distillation، فيعطيه البيانات بعد ما مرت على نموذج كبير وفرزها وفهم العلاقات اللي فيها.
النموذج الكبير عنده حجم يسمح له يتعلم من كمية هائلة من الضجيج، ويطلع منها الأشياء المهمة. النموذج الصغير ما عنده هالرفاهية. لكن إذا أعطيته الخلاصة جاهزة، يقدر يتعلمها. وهنا الفكرة اللي أشوفها أهم شيء في الموضوع:
الحجم الكبير كان ضروري لاكتشاف الخبرة، لكنه مو بالضرورة لحملها.
وهذا يفسر ليش نشوف نماذج أصغر اليوم تسوي أشياء كانت تحتاج نموذج عملاق قبل فترة قصيرة.
ما الذي لا ينتقل؟
هنا لازم نكون صريحين، لأن Distillation أحيانا يطرح كأنه حل سحري.
أول شيء: الأسلوب ينتقل أسرع من القدرة.
في دراسة The False Promise of Imitating Proprietary LLMs، درب الباحثون نماذج مفتوحة على مخرجات نماذج مغلقة. النتيجة كانت غريبة شوي. النموذج الصغير تعلم بسرعة كيف يتكلم مثل المعلم نفس الأسلوب، نفس الثقة، وحتى طريقة ترتيب الإجابة. لكن لما دخلوا في المهام الصعبة، رجعت الفجوة. يعني باختصار تعلم كيف يمثل انه خبير، بكن موب خبير.
ثاني شيء: الأخطاء تنتقل معه.
إذا كان المعلم يهلوس في نوع معين من الأسئلة، ممكن الطالب يتعلم الهلوسة نفسها وبنفس الثقة. عشان كذا جودة البيانات اللي تدخل في Distillation مهمة جدًا.
ثالث شيء: الطالب له سقف.
الـDistribution يضغط خبرة المعلم، لكنه ما يخلق خبرة جديدة من العدم.
ورابع شيء: الموضوع ليس تقني فقط.
فيه جانب قانوني لازم تنتبه له. بعض مزودي النماذج المغلقة يمنعون استخدام مخرجاتهم لتدريب نماذج منافسة، والجدل اللي صار حول DeepSeek واتهامات Distillation من نماذج OpenAI يوضح أن الموضوع وصل للسياسات وشروط الاستخدام أيضا.
وبعد Anthropic أعلنت في 23 فبراير 2026 أنها اكتشفت ما وصفته بـ industrial-scale distillation attacks من DeepSeek وMoonshot AI وMiniMax، وقالت إن أكثر من 24 ألف حساب أنشئت لجمع مخرجات Claude
Anthropic
@AnthropicAI
·
٢٣ فبراير
مترجمة من الإنجليزيةعرض الأصلي
لقد حددنا هجمات تقطير على نطاق صناعي تستهدف نماذجنا من قبل DeepSeek، وMoonshot AI، وMiniMax. هذه المعامل أنشأت أكثر من 24,000 حساب مزيف وولدت أكثر من 16 مليون تبادل مع Claude، مستخلصةً قدراته لتدريب وتحسين نماذجها الخاصة.
٧ ألف
١٤ ألف
٥٤ ألف
٣٣ مليون
لذلك في بيئة العمل، الأفضل يكون المعلم مفتوحا برخصة تسمح بهذا الاستخدام، أو يكون عندك اتفاق واضح مع مزود النموذج. التقطير قوي، لكنه مو عصا سحرية. هو ينقل الخبرة الموجودة. ما يخلقها من الصفر.
وش تسوي اذا عندك مشروع؟
طيب، لو عندك مهمة محددة وتبي تسوي لها نموذج صغير، من وين تبدأ؟ خلنا نقول عندك تصنيف طلبات عملاء، استخراج بنود من عقود، أو تلخيص تقارير داخلية. الطريقة تقريبا كذا:
- ابدأ ببيانات حقيقية. خذ أمثلة فعلية من المهمة نفسها. بضعة آلاف تكفي كبداية، ولا تحتاج ملايين الأمثلة.
- خل النموذج الكبير يحلها. لا تكتفي بالإجابة النهائية. خله يشرح طريقة الوصول لها، لأن هالشرح هو جزء كبير من الخبرة اللي تبي تنقلها.
- نظّف الناتج. احذف الإجابات المكررة أو المتناقضة، وتحقق من الأشياء اللي تقدر تتحقق منها آليًا. جودة البيانات هنا أهم من كميتها.
- درّب النموذج الصغير. نموذج بين 1B و8B مع LoRA ممكن يكون كافي لمهمة محددة، وتكلفته أقل بكثير من تدريب نموذج من الصفر.
- اختبره على بيانات ما شافها. هنا تعرف هل تعلم فعلًا، أو بس حفظ طريقة المعلّم.
وبعدها ممكن تخلي النموذج الصغير يتعامل مع أغلب الطلبات، والحالات اللي ما يثق فيها أو ما يعرف لها ترجع للنموذج الكبير. وهنا تظهر القيمة فعلا.خصوصا في العربية.
النماذج الصغيرة ما زالت العربية أضعف من الإنجليزية في كثير من المهام، لكن لما تضيق المهمة وتدربها على بيانات عربية حقيقية من نفس مجالك، الفجوة ممكن تصغر بشكل كبير.
وبالنسبة لبعض المؤسسات، هذا مو مجرد توفير تكلفة. قد يكون الطريقة الوحيدة أصلًا لاستخدام الذكاء الاصطناعي على بيانات ما تقدر تطلع خارج المؤسسة.
الخلاصة
طوال هذا الأسبوع وأنا أدور حول فكرة واحدة من أكثر من زاوية الذكاء في النماذج ما صار مرتبط بالحجم مثل أول. الجزء المهم منه صار في الخبرة، والخبرة مو كمية المعرفة بقدر ما هي طريقة اتخاذ القرار. والـ Knowledge Distillation هو التطبيق العملي للفكرة.
لو كانت القيمة كلها في الحجم، ما كان ممكن تضغطها. لكنها تنضغط، وتنتقل، وتشتغل في نموذج صغير على خادم واحد. ما تحتاج دايما أكبر نموذج عشان تحصل على أفضل نتيجة. أحيانا تحتاج نموذج كبير يعلم نموذج صغير كيف يتصرف.
Originally published on X.
