Black Friday Recharge Offer, offer ends on November 30
CometAPI

مدونة

مدونة CometAPI

واجهة برمجة تطبيقات واحدة. كل نموذج ذكاء اصطناعي رائد.

تحديثات النماذج، وأدلة واجهة برمجة التطبيقات، والمعايير، والرؤى العملية للبناء بشكل أسرع مع CometAPI.

كيفية استخدام واجهة برمجة تطبيقات Seedgream 4.5
Guide

كيفية استخدام واجهة برمجة تطبيقات Seedgream 4.5

Seedream 4.5 هو أحدث تطور ضمن عائلة Seedream من نماذج تحويل النص إلى صورة / تحرير الصور (تم تطويره ضمن أبحاث Byte/BytePlus). يجري طرحه عبر نقاط النهاية الرسمية لـ BytePlus وعلى منصات متعددة تابعة لجهات خارجية — بما في ذلك وصول متكامل عبر بوابات متعددة النماذج مثل CometAPI — ويقدّم تحسينات في اتساق الموضوع، والطباعة/تصيير النصوص، ودقة تحرير الصور المتعددة.

J
j3efpkpg1
فيما يلي طرق موثوقة لتشغيل نماذج Mistral محلياً (تنطبق على أي إصدار يحمل اسم “Mistral 3” إذا توفّر له أوزان عامة). اختر الطريقة الأنسب لعَتادك وتفضيلاتك:

1) الأسهل للمبتدئين: Ollama
- التثبيت:
  - macOS/Linux: شغّل الأمر:
    curl -fsSL https://ollama.com/install.sh | sh
  - Windows: ثبّت من موقع Ollama الرسمي.
- تنزيل النموذج وتشغيله:
  - استبدل <model-tag> بالاسم الفعلي للنموذج كما هو منشور (مثال: mistral، mistral:instruct، أو العلامة الخاصة بـ “Mistral 3” إن وُجدت):
    ollama pull <model-tag>
    ollama run <model-tag>
- تشغيل ملف GGUF محلياً:
  - ضع ملف GGUF في مجلد، وأنشئ ملف باسم Modelfile يحتوي:
    FROM ./path/to/model.gguf
  - ثم:
    ollama create my-mistral3 -f Modelfile
    ollama run my-mistral3

2) أداء عالي وملفات GGUF: llama.cpp (CPU/GPU)
- التحضير:
  - ثبّت المتطلبات وابنِ المشروع (راجع تعليمات مستودع llama.cpp لبيئتك، مثلاً تمكين Metal على macOS أو CUDA على Linux/Windows).
- تنزيل GGUF:
  - حمّل إصدار GGUF من النموذج (Q4/Q5/… لضبط الذاكرة). ضع الملف في مجلد العمل.
- التشغيل (مثال):
  - على macOS (Metal):
    ./main -m ./model.gguf -p "اكتب ملخصاً قصيراً." --n-predict 256
  - على CUDA:
    ./main -m ./model.gguf -p "اكتب ملخصاً قصيراً." --n-gpu-layers 35 --threads 8 --n-predict 256
- ملاحظات:
  - ملفات INT4/INT5 تقلل الذاكرة وتزيد السرعة مع تضحية طفيفة بالجودة.
  - استخدم خيارات مثل --ctx-size لتكبير السياق إن لزم.

3) بايثون/بايتورتش: Hugging Face Transformers
- التثبيت:
  pip install torch transformers accelerate sentencepiece safetensors bitsandbytes
- مثال بايثون (استبدل <MODEL_ID> بالمعرف الدقيق للنموذج، مثلاً من Hugging Face؛ استخدم الإصدار “Mistral 3” إن كان متاحاً):
  from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
  import torch

  model_id = "<MODEL_ID>"
  tok = AutoTokenizer.from_pretrained(model_id, use_fast=True)
  model = AutoModelForCausalLM.from_pretrained(
      model_id,
      torch_dtype=torch.float16,
      device_map="auto"
  )

  prompt = "اكتب ملخصاً قصيراً عن التعلم العميق."
  inputs = tok(prompt, return_tensors="pt").to(model.device)
  streamer = TextStreamer(tok, skip_prompt=True)
  with torch.no_grad():
      _ = model.generate(
          **inputs,
          max_new_tokens=256,
          temperature=0.7,
          top_p=0.95,
          streamer=streamer
      )
- لتقليل الذاكرة:
  - حمِّل 4-bit/8-bit عبر bitsandbytes:
    AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16)
  - أو استخدم نسخة GGUF عبر llama.cpp بدل PyTorch.

4) خادم API محلي متوافق مع OpenAI: vLLM
- التثبيت والتشغيل:
  pip install vllm
  python -m vllm.entrypoints.openai.api_server --model <MODEL_ID> --dtype float16 --max-model-len 32768
- مثال طلب عبر cURL:
  curl http://127.0.0.1:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "<MODEL_ID>",
      "messages": [{"role": "user", "content": "اشرَح مزايا النماذج المهيكلة MoE"}],
      "max_tokens": 256
    }'

متطلبات العتاد التقريبية
- 7B FP16: نحو 14–16 جيجابايت VRAM.
- 7B INT4 (GGUF أو 4-bit): 4–8 جيجابايت VRAM (أو يعمل على CPU بسرعة أقل).
- نماذج MoE الأكبر (مثل Mixtral 8x7B): تحتاج VRAM أعلى أو استخدام Quantization/Offloading.
- على Apple Silicon: يوصى باستخدام llama.cpp مع Metal أو Transformers مع MPS.

نصائح عملية
- حدّد اسم النموذج بدقة كما نُشر رسمياً (علامة/معرّف Hugging Face). إن لم تجد “Mistral 3” تحديداً، استخدم الإصدار الأحدث المتاح من عائلة Mistral المتوافق مع عتادك.
- احترس من الرخصة: تأكد من أن الأوزان مرخّصة للاستخدام المحلي/التجاري حسب حاجتك.
- عالج الأخطاء الشائعة:
  - CUDA غير متاحة: ثبّت Torch المطابقة لإصدار CUDA لديك أو استخدم CPU/MPS.
  - بطء شديد: استخدم INT4/INT5 GGUF أو قلّل max_new_tokens أو فعّل تسريع GPU.
  - ذاكرة غير كافية: جرّب quantization أو offloading أو نموذجاً أصغر.

باختصار: إن أردت أبسط تجربة، استخدم Ollama. لأقصى كفاءة على أجهزة مختلفة، استخدم llama.cpp مع GGUF. إن أردت التكامل البرمجي أو خادماً محلياً، استخدم Transformers أو vLLM. اختر <MODEL_ID>/<model-tag> الصحيح الخاص بـ “Mistral 3” (إن توفر) أو أقرب بديل من عائلة Mistral.
Guide

فيما يلي طرق موثوقة لتشغيل نماذج Mistral محلياً (تنطبق على أي إصدار يحمل اسم “Mistral 3” إذا توفّر له أوزان عامة). اختر الطريقة الأنسب لعَتادك وتفضيلاتك: 1) الأسهل للمبتدئين: Ollama - التثبيت: - macOS/Linux: شغّل الأمر: curl -fsSL https://ollama.com/install.sh | sh - Windows: ثبّت من موقع Ollama الرسمي. - تنزيل النموذج وتشغيله: - استبدل <model-tag> بالاسم الفعلي للنموذج كما هو منشور (مثال: mistral، mistral:instruct، أو العلامة الخاصة بـ “Mistral 3” إن وُجدت): ollama pull <model-tag> ollama run <model-tag> - تشغيل ملف GGUF محلياً: - ضع ملف GGUF في مجلد، وأنشئ ملف باسم Modelfile يحتوي: FROM ./path/to/model.gguf - ثم: ollama create my-mistral3 -f Modelfile ollama run my-mistral3 2) أداء عالي وملفات GGUF: llama.cpp (CPU/GPU) - التحضير: - ثبّت المتطلبات وابنِ المشروع (راجع تعليمات مستودع llama.cpp لبيئتك، مثلاً تمكين Metal على macOS أو CUDA على Linux/Windows). - تنزيل GGUF: - حمّل إصدار GGUF من النموذج (Q4/Q5/… لضبط الذاكرة). ضع الملف في مجلد العمل. - التشغيل (مثال): - على macOS (Metal): ./main -m ./model.gguf -p "اكتب ملخصاً قصيراً." --n-predict 256 - على CUDA: ./main -m ./model.gguf -p "اكتب ملخصاً قصيراً." --n-gpu-layers 35 --threads 8 --n-predict 256 - ملاحظات: - ملفات INT4/INT5 تقلل الذاكرة وتزيد السرعة مع تضحية طفيفة بالجودة. - استخدم خيارات مثل --ctx-size لتكبير السياق إن لزم. 3) بايثون/بايتورتش: Hugging Face Transformers - التثبيت: pip install torch transformers accelerate sentencepiece safetensors bitsandbytes - مثال بايثون (استبدل <MODEL_ID> بالمعرف الدقيق للنموذج، مثلاً من Hugging Face؛ استخدم الإصدار “Mistral 3” إن كان متاحاً): from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer import torch model_id = "<MODEL_ID>" tok = AutoTokenizer.from_pretrained(model_id, use_fast=True) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.float16, device_map="auto" ) prompt = "اكتب ملخصاً قصيراً عن التعلم العميق." inputs = tok(prompt, return_tensors="pt").to(model.device) streamer = TextStreamer(tok, skip_prompt=True) with torch.no_grad(): _ = model.generate( **inputs, max_new_tokens=256, temperature=0.7, top_p=0.95, streamer=streamer ) - لتقليل الذاكرة: - حمِّل 4-bit/8-bit عبر bitsandbytes: AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16) - أو استخدم نسخة GGUF عبر llama.cpp بدل PyTorch. 4) خادم API محلي متوافق مع OpenAI: vLLM - التثبيت والتشغيل: pip install vllm python -m vllm.entrypoints.openai.api_server --model <MODEL_ID> --dtype float16 --max-model-len 32768 - مثال طلب عبر cURL: curl http://127.0.0.1:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "<MODEL_ID>", "messages": [{"role": "user", "content": "اشرَح مزايا النماذج المهيكلة MoE"}], "max_tokens": 256 }' متطلبات العتاد التقريبية - 7B FP16: نحو 14–16 جيجابايت VRAM. - 7B INT4 (GGUF أو 4-bit): 4–8 جيجابايت VRAM (أو يعمل على CPU بسرعة أقل). - نماذج MoE الأكبر (مثل Mixtral 8x7B): تحتاج VRAM أعلى أو استخدام Quantization/Offloading. - على Apple Silicon: يوصى باستخدام llama.cpp مع Metal أو Transformers مع MPS. نصائح عملية - حدّد اسم النموذج بدقة كما نُشر رسمياً (علامة/معرّف Hugging Face). إن لم تجد “Mistral 3” تحديداً، استخدم الإصدار الأحدث المتاح من عائلة Mistral المتوافق مع عتادك. - احترس من الرخصة: تأكد من أن الأوزان مرخّصة للاستخدام المحلي/التجاري حسب حاجتك. - عالج الأخطاء الشائعة: - CUDA غير متاحة: ثبّت Torch المطابقة لإصدار CUDA لديك أو استخدم CPU/MPS. - بطء شديد: استخدم INT4/INT5 GGUF أو قلّل max_new_tokens أو فعّل تسريع GPU. - ذاكرة غير كافية: جرّب quantization أو offloading أو نموذجاً أصغر. باختصار: إن أردت أبسط تجربة، استخدم Ollama. لأقصى كفاءة على أجهزة مختلفة، استخدم llama.cpp مع GGUF. إن أردت التكامل البرمجي أو خادماً محلياً، استخدم Transformers أو vLLM. اختر <MODEL_ID>/<model-tag> الصحيح الخاص بـ “Mistral 3” (إن توفر) أو أقرب بديل من عائلة Mistral.

J
j3efpkpg1
كيفية تشغيل Mistral 3 محليًا
Guide

كيفية تشغيل Mistral 3 محليًا

يشرح ما هو Mistral 3، وكيف بُني، ولماذا قد ترغب في تشغيله محليًا، وثلاث طرق عملية لتشغيله على جهازك أو خادِمك الخاص — بدءًا من سهولة "انقر للتشغيل" عبر Ollama، مرورًا بتقديم خدمة إنتاجية على وحدات معالجة الرسوميات باستخدام vLLM/TGI، وانتهاءً بالاستدلال على وحدة المعالجة المركزية للأجهزة الصغيرة باستخدام GGUF + llama.cpp.

J
j3efpkpg1