Mistral Nemo 12B

Apache 2.0

Mistral AI · 12B · كثيف

نموذج متعدّد اللغات بحجم ١٢ مليارًا وسياق ١٢٨ ألف رمز. تعرّف على ما إذا كان كرت شاشتك أو جهاز الماك قادرًا على تشغيل Mistral Nemo 12B محليًا — 6.7 جيجابايت كحد أدنى، و11.2 جيجابايت موصى بها.

كيف تستخدم Mistral Nemo 12B في llama.cpp

يحمّل llama.cpp ملف Mistral Nemo 12B من HuggingFace مباشرة ويشغّله، إمّا خادمًا متوافقًا مع OpenAI بواجهة ويب أو في الطرفية. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

التثبيت على macOS وLinux

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

التثبيت عبر WinGet على Windows

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

نسخة جاهزة من صفحة الإصدارات

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

البناء من الكود المصدري

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

عبر Docker

docker model run hf.co/bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

التوثيق الرسمي: llama.cpp

كيف تستخدم Mistral Nemo 12B في Ollama

ينزّل Ollama النموذج ويفتح محادثة محلية بأمر واحد. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

من مكتبة Ollama الرسمية

ollama run mistral-nemo

من ملف GGUF على HuggingFace

ollama run hf.co/bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

التوثيق الرسمي: Ollama

كيف تستخدم Mistral Nemo 12B في Pi

Pi وكيل برمجة يعمل في الطرفية. شغّل Mistral Nemo 12B على خادم llama.cpp محلي ثم وجّه Pi إليه. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

شغّل خادم llama.cpp

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

أضف النموذج إلى Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M"
        }
      ]
    }
  }
}

شغّل Pi

# Start Pi in your project directory:
pi

التوثيق الرسمي: Pi

كيف تستخدم Mistral Nemo 12B في node-llama-cpp

شغّل Mistral Nemo 12B من Node.js بلا تثبيت مسبق. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

محادثة مع النموذج

npx -y node-llama-cpp chat hf:bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

قدّر توافق النموذج مع جهازك

npx -y node-llama-cpp inspect estimate hf:bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

التوثيق الرسمي: node-llama-cpp

كيف تستخدم Mistral Nemo 12B في Docker Model Runner

يشغّل Docker Desktop النموذج محليًا ويتيحه عبر واجهة متوافقة مع OpenAI. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

شغّل النموذج

docker model run hf.co/bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

التوثيق الرسمي: Docker Model Runner

كيف تستخدم Mistral Nemo 12B في LocalAI

LocalAI خادم محلي متوافق مع OpenAI. استبدل {{GGUF_FILE}} باسم ملف GGUF الذي تريده من المستودع bartowski/Mistral-Nemo-Instruct-2407-GGUF.

التثبيت من ملف تنفيذي

curl https://localai.io/install.sh | sh
# Load and run the model:
local-ai run huggingface://bartowski/Mistral-Nemo-Instruct-2407-GGUF/{{GGUF_FILE}}

عبر صور Docker

# Pull the image:
docker pull localai/localai:latest-cpu
# Load and run the model:
docker run -p 8080:8080 --name localai -v $PWD/models:/build/models localai/localai:latest-cpu huggingface://bartowski/Mistral-Nemo-Instruct-2407-GGUF/{{GGUF_FILE}}

التوثيق الرسمي: LocalAI

كيف تستخدم Mistral Nemo 12B في Lemonade

Lemonade خادم محلي من AMD يعمل على المعالجات وكروت الشاشة. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

نزّل النموذج

# Download Lemonade from https://lemonade-server.ai/
lemonade pull bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

شغّل النموذج وحاوره

lemonade run user.Mistral-Nemo-Instruct-2407-GGUF-Q4_K_M

اعرض كل النماذج المتاحة

lemonade list

التوثيق الرسمي: Lemonade

كيف تستخدم Mistral Nemo 12B في Hermes Agent

وكيل Hermes من Nous Research. شغّل Mistral Nemo 12B على خادم llama.cpp محلي ثم وجّه Hermes إليه. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

شغّل خادم llama.cpp

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

اضبط Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

شغّل Hermes

hermes

التوثيق الرسمي: Hermes Agent

كيف تستخدم Mistral Nemo 12B في OpenClaw

OpenClaw وكيل مفتوح المصدر يعمل على جهازك. شغّل Mistral Nemo 12B على خادم llama.cpp محلي ثم سجّله في OpenClaw. اختر مستوى الـ Quantization من القائمة، وتتحدّث الأوامر معه.

ملف GGUF من bartowski/Mistral-Nemo-Instruct-2407-GGUF

شغّل خادم llama.cpp

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

اضبط OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

شغّل OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

التوثيق الرسمي: OpenClaw

أوامر التشغيلHuggingFaceOllamaLM Studio
2024-07سياق 128K

مستويات الـ Quantization

Quantizationالبتاتالذاكرةالجودةالحالة
Q2_K24.3GBمنخفضة—
Q3_K_M35.9GBمتوسطة—
Q4_K_M46.6GBجيدة—
Q5_K_M58.2GBجيدة—
Q6_K69.7GBممتازة—
Q8_0812.8GBممتازة—
F161625.1GBبلا فقد—

الأرقام تشمل الأوزان وذاكرة KV عند طول سياق 2K توكن. غيّر طول السياق من لوحة جهازك لترى أثره على الذاكرة والسرعة.

التطبيقات

شغّل Mistral Nemo 12B داخل أدوات البرمجة التي تعمل بالذكاء الاصطناعي — يشغّل الأمر خادم Ollama على جهازك، يحمّل النموذج، ثم يفتح الأداة موصولة به.

  • Claude Code

    وكيل البرمجة من Anthropic، يعمل في الطرفية وداخل المحرّر

    ollama launch claude --model mistral-nemo
  • OpenCode

    وكيل برمجة مفتوح المصدر يعمل في الطرفية داخل مستودعك

    ollama launch opencode --model mistral-nemo
  • Codex

    وكيل البرمجة من OpenAI في سطر الأوامر

    ollama launch codex --model mistral-nemo
  • Droid

    وكيل البرمجة من Factory، للمهام الطويلة عبر عدّة ملفات

    ollama launch droid --model mistral-nemo
  • Hermes Agent

    وكيل برمجة مفتوح من Nous Research، بذاكرة تمتد عبر الجلسات

    ollama launch hermes --model mistral-nemo
  • OpenClaw

    وكيل مفتوح المصدر يشغّل المهام على جهازك بلا خدمة سحابية

    ollama launch openclaw --model mistral-nemo

تحتاج Ollama والأداة نفسها مثبَّتين. إن لم تكن الأداة مثبّتة، يرشدك الأمر إلى طريقة تثبيتها. اكتب ollama launch وحده لاختيار الأداة من قائمة.

عن هذا النموذج

الوصف الرسمي كما نشرته الجهة المطوِّرة، بلغته الأصلية.

Mistral NeMo is a 12B model built in collaboration with NVIDIA. Mistral NeMo offers a large context window of up to 128k tokens. Its reasoning, world knowledge, and coding accuracy are state-of-the-art in its size category. As it relies on standard architecture, Mistral NeMo is easy to use and a drop-in replacement in any system using Mistral 7B.

nemo-base-performance.png

Reference

Blog

Hugging Face

أسئلة شائعة عن تشغيل Mistral Nemo 12B محليًا

هل أستطيع تشغيل Mistral Nemo 12B على جهازي؟
يحتاج Mistral Nemo 12B إلى 6.7 جيجابايت من الذاكرة كحد أدنى، والموصى به 11.2 جيجابايت. يكفي أن تفتح هذه الصفحة ليُقيَّم النموذج تلقائيًا أمام كرت شاشتك أو جهاز الماك، ثم تشغّله عبر Ollama أو LM Studio أو llama.cpp.
كم يحتاج Mistral Nemo 12B من الـ VRAM؟
بتكميم Q4_K_M يستهلك Mistral Nemo 12B نحو 6.6 جيجابايت من ذاكرة الكرت. أما المستويات الأعلى فتحتاج ذاكرة أكبر، والأدنى تناسب الكروت المحدودة مقابل تنازل في الجودة.