Mixtral 8x7B

Apache 2.0

Mistral AI · 47B (12.9B active) · MoE

مزيج خبراء بـ ١٢٫٩ مليار معامل نشط. تعرّف على ما إذا كان كرت شاشتك أو جهاز الماك قادرًا على تشغيل Mixtral 8x7B محليًا — 26.3 جيجابايت كحد أدنى، و43.8 جيجابايت موصى بها.

كيف تستخدم Mixtral 8x7B في llama.cpp

يحمّل llama.cpp ملف Mixtral 8x7B من HuggingFace مباشرة ويشغّله، إمّا خادمًا متوافقًا مع OpenAI بواجهة ويب أو في الطرفية. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF

التثبيت على macOS وLinux

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

التثبيت عبر WinGet على Windows

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

نسخة جاهزة من صفحة الإصدارات

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

البناء من الكود المصدري

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

عبر Docker

docker model run hf.co/MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

التوثيق الرسمي: llama.cpp

كيف تستخدم Mixtral 8x7B في Ollama

ينزّل Ollama النموذج ويفتح محادثة محلية بأمر واحد. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF

من مكتبة Ollama الرسمية

ollama run mixtral:8x7b

من ملف GGUF على HuggingFace

ollama run hf.co/MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

التوثيق الرسمي: Ollama

كيف تستخدم Mixtral 8x7B في node-llama-cpp

شغّل Mixtral 8x7B من Node.js بلا تثبيت مسبق. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF

محادثة مع النموذج

npx -y node-llama-cpp chat hf:MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

قدّر توافق النموذج مع جهازك

npx -y node-llama-cpp inspect estimate hf:MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

التوثيق الرسمي: node-llama-cpp

كيف تستخدم Mixtral 8x7B في Docker Model Runner

يشغّل Docker Desktop النموذج محليًا ويتيحه عبر واجهة متوافقة مع OpenAI. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF

شغّل النموذج

docker model run hf.co/MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

التوثيق الرسمي: Docker Model Runner

كيف تستخدم Mixtral 8x7B في LocalAI

LocalAI خادم محلي متوافق مع OpenAI. استبدل {{GGUF_FILE}} باسم ملف GGUF الذي تريده من المستودع MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF.

التثبيت من ملف تنفيذي

curl https://localai.io/install.sh | sh
# Load and run the model:
local-ai run huggingface://MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF/{{GGUF_FILE}}

عبر صور Docker

# Pull the image:
docker pull localai/localai:latest-cpu
# Load and run the model:
docker run -p 8080:8080 --name localai -v $PWD/models:/build/models localai/localai:latest-cpu huggingface://MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF/{{GGUF_FILE}}

التوثيق الرسمي: LocalAI

كيف تستخدم Mixtral 8x7B في Lemonade

Lemonade خادم محلي من AMD يعمل على المعالجات وكروت الشاشة. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF

نزّل النموذج

# Download Lemonade from https://lemonade-server.ai/
lemonade pull MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF:Q4_K_M

شغّل النموذج وحاوره

lemonade run user.Mixtral-8x7B-Instruct-v0.1-GGUF-Q4_K_M

اعرض كل النماذج المتاحة

lemonade list

التوثيق الرسمي: Lemonade

أوامر التشغيلHuggingFaceOllama
2023-12سياق 32K

MoE

إجمالي الخبراء: 8
الخبراء النشطون: 2
المعاملات النشطة: 12.9B

مستويات الـ Quantization

Quantizationالبتاتالذاكرةالجودةالحالة
Q2_K215.5GBمنخفضة—
Q3_K_M321.6GBمتوسطة—
Q4_K_M424.6GBجيدة—
Q5_K_M530.6GBجيدة—
Q6_K636.6GBممتازة—
Q8_0848.6GBممتازة—
F161696.8GBبلا فقد—

الأرقام تشمل الأوزان وذاكرة KV عند طول سياق 2K توكن. غيّر طول السياق من لوحة جهازك لترى أثره على الذاكرة والسرعة.

التطبيقات

شغّل Mixtral 8x7B داخل أدوات البرمجة التي تعمل بالذكاء الاصطناعي — يشغّل الأمر خادم Ollama على جهازك، يحمّل النموذج، ثم يفتح الأداة موصولة به.

  • Claude Code

    وكيل البرمجة من Anthropic، يعمل في الطرفية وداخل المحرّر

    ollama launch claude --model mixtral:8x7b
  • OpenCode

    وكيل برمجة مفتوح المصدر يعمل في الطرفية داخل مستودعك

    ollama launch opencode --model mixtral:8x7b
  • Codex

    وكيل البرمجة من OpenAI في سطر الأوامر

    ollama launch codex --model mixtral:8x7b
  • Droid

    وكيل البرمجة من Factory، للمهام الطويلة عبر عدّة ملفات

    ollama launch droid --model mixtral:8x7b
  • Hermes Agent

    وكيل برمجة مفتوح من Nous Research، بذاكرة تمتد عبر الجلسات

    ollama launch hermes --model mixtral:8x7b
  • OpenClaw

    وكيل مفتوح المصدر يشغّل المهام على جهازك بلا خدمة سحابية

    ollama launch openclaw --model mixtral:8x7b

تحتاج Ollama والأداة نفسها مثبَّتين. إن لم تكن الأداة مثبّتة، يرشدك الأمر إلى طريقة تثبيتها. اكتب ollama launch وحده لاختيار الأداة من قائمة.

عن هذا النموذج

الوصف الرسمي كما نشرته الجهة المطوِّرة، بلغته الأصلية.

The Mixtral large Language Models (LLM) are a set of pretrained generative Sparse Mixture of Experts.

Sizes

  • mixtral:8x22b
  • mixtral:8x7b

Mixtral 8x22b

ollama run mixtral:8x22b

Mixtral 8x22B sets a new standard for performance and efficiency within the AI community. It is a sparse Mixture-of-Experts (SMoE) model that uses only 39B active parameters out of 141B, offering unparalleled cost efficiency for its size.

Mixtral 8x22B comes with the following strengths:

  • It is fluent in English, French, Italian, German, and Spanish
  • It has strong maths and coding capabilities
  • It is natively capable of function calling
  • 64K tokens context window allows precise information recall from large documents

References

Announcement

HuggingFace

أسئلة شائعة عن تشغيل Mixtral 8x7B محليًا

هل أستطيع تشغيل Mixtral 8x7B على جهازي؟
يحتاج Mixtral 8x7B إلى 26.3 جيجابايت من الذاكرة كحد أدنى، والموصى به 43.8 جيجابايت. يكفي أن تفتح هذه الصفحة ليُقيَّم النموذج تلقائيًا أمام كرت شاشتك أو جهاز الماك، ثم تشغّله عبر Ollama أو LM Studio أو llama.cpp.
كم يحتاج Mixtral 8x7B من الـ VRAM؟
بتكميم Q4_K_M يستهلك Mixtral 8x7B نحو 24.6 جيجابايت من ذاكرة الكرت. أما المستويات الأعلى فتحتاج ذاكرة أكبر، والأدنى تناسب الكروت المحدودة مقابل تنازل في الجودة.