مفاهيم الذكاء الاصطناعي المحلي: الذاكرة والـ Quantization و GGUF

عدد المعاملات (Parameters)

عندما ترى "7B" أو "70B" فهذا عدد المعاملات (الأوزان) داخل النموذج بالمليارات. كلما زادت المعاملات صار النموذج أذكى وأقدر، لكنه يحتاج ذاكرة أكبر ويصبح أبطأ. نموذج بحجم ٧ مليارات ممتاز للمهام الأساسية، و١٣–٣٤ مليارًا نقطة توازن قوية، ومن ٧٠ مليارًا فأكثر تقترب من جودة النماذج الرائدة لكنها تتطلّب جهازًا بمواصفات قوية.

Quantization

الـ Quantization يقلّل دقة أوزان النموذج ليصبح أصغر وأسرع، مقابل خسارة بسيطة في الجودة. والاسم يخبرك بعدد البتات المستخدمة:

VRAM — ذاكرة كرت الشاشة

الـ VRAM هي الذاكرة الموجودة على الكرت نفسه. ولتشغيل أي نموذج يجب أن يتّسع الملف المكمَّم كاملًا داخلها (أو داخل الذاكرة الموحّدة في معالجات Apple). فإذا احتاج النموذج 8GB وكرتك يملك 6 فقط، فلن يعمل جيدًا — إما أن يفشل أو ينتقل إلى المعالج وهو أبطأ بكثير.

MoE — Mixture of Experts

نموذج MoE يقسّم معاملاته إلى مجموعات تُسمّى "خبراء"، ولا يُفعَّل منها سوى عدد قليل مع كل توكن. مثلًا Mixtral 8x7B يملك 46.7 مليار معامل لكنه يفعّل نحو 12.9 مليارًا فقط لكل توكن. النتيجة: جودة نموذج كبير بسرعة نموذج أصغر. أما المقابل فهو أن النموذج كاملًا يجب أن يتّسع في الذاكرة، حتى لو لم يعمل منه إلا جزء أثناء التوليد.

Dense مقابل MoE

النموذج الكثيف يفعّل كل معاملاته مع كل توكن — ما تراه هو ما تحصل عليه. أما نموذج MoE فيملك معاملات أكثر لكنه يستخدم جزءًا منها فقط لكل توكن. النماذج الكثيفة أبسط وأسهل في توقّع استهلاكها للذاكرة وسرعتها، بينما نماذج MoE تتفوّق في الجودة على حجمها الظاهر لكنها تحتاج ذاكرة أكبر مما يوحي به عدد معاملاتها النشطة.

طول السياق (Context Length)

طول السياق هو عدد التوكنز التي يستطيع النموذج معالجتها دفعة واحدة — المدخلات والمخرجات معًا. فنموذج بسياق "128K" يتعامل مع نحو 100 ألف كلمة في محادثة واحدة. السياق الأطول مفيد لتحليل المستندات والمحادثات الطويلة، لكنه يستهلك ذاكرة أكبر. ومعظم الاستخدام المحلي يكفيه سياق بين 4 و8 آلاف توكن.

التوكنز في الثانية (tok/s)

هذه سرعة التوليد، أي مدى سرعة النموذج في إنتاج النص. ودليل تقريبي:

• أكثر من 60 tok/s — إحساس فوري، ممتاز للاستخدام التفاعلي
• 30–60 tok/s — سريع ومريح
• 15–30 tok/s — قابل للاستخدام مع انتظار بسيط
• 5–15 tok/s — مناسب للمهام غير التفاعلية
• أقل من 5 tok/s — مرهق للاستخدام التفاعلي

صيغة GGUF

GGUF هي صيغة الملفات التي يستخدمها llama.cpp وأدوات مثل Ollama و LM Studio و GPT4All. تخزّن أوزان النموذج المكمَّمة في ملف واحد جاهز للتشغيل على المعالج أو كرت الشاشة. وعندما تنزّل نموذجًا من HuggingFace للاستخدام المحلي فأنت غالبًا تبحث عن نسخة GGUF.

عرض نطاق الذاكرة (Bandwidth)

عرض نطاق الذاكرة (بوحدة GB/s) يحدّد سرعة قراءة البيانات من الـ VRAM. وأثناء التوليد يكون عنق الزجاجة هو قراءة أوزان النموذج من الذاكرة، لذا فالنطاق الأوسع يعني توكنز أكثر في الثانية. ولهذا تشغّل أجهزة ماك بمعالجات Apple — بفضل نطاق ذاكرتها الموحّدة العالي — نماذج كبيرة بكفاءة مفاجئة، ولهذا أيضًا يولّد RTX 4090 النص أسرع من RTX 4060 حتى عند استهلاك الذاكرة نفسه.