English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

كيفية الوصول إلى Llama 3.3 70b محليًا أو عبر API: دليل كامل

بواسطة / / LLM / 6 دقائق قراءة
كيفية الوصول إلى Llama 3.3 70b محليًا أو عبر API: دليل كامل
جدول المحتويات
  1. ما هو Llama 3.3 70b؟
  2. كيفية الوصول إلى Llama 3.3 70b محليًا
  3. كيفية الوصول إلى Llama 3.3 70b عبر Novita AI
  4. دليل خطوة بخطوة
  5. ما الطرق المناسبة لك؟

النقاط الرئيسية

1. أداء متقدم: Llama 3.3 70b هو نموذج قوي من Meta. يتفوق في مهام مثل اتباع التعليمات والتفكير متعدد اللغات.

2. كيفية الوصول إلى Llama 3.3 70b محليًا: لتشغيل Llama 3.3 70b محليًا، ستحتاج إلى GPU قوي (ذاكرة فيديو لا تقل عن 24 جيجابايت)، وذاكرة RAM لا تقل عن 32 جيجابايت، ومساحة تخزين 250 جيجابايت، بالإضافة إلى برامج محددة.

3. كيفية الوصول إلى Llama 3.3 70b عبر API: تقدم Novita AI API لنموذج Llama 3.3 70b، بسعر 0.39 دولار فقط لكل مليون رمز للإدخال والإخراج.只需 سجل للحصول على نسخة تجريبية مجانية واستخدم API مع طلبات بسيطة.

4. توصيات الاستخدام: تختلف احتياجات المستخدمين: قد يفضل الباحثون التثبيت المحلي، بينما قد يجد الشركات والمستخدمون العاديون الوصول عبر API أكثر ملاءمة وفعالية من حيث التكلفة.

في المشهد المتطور بسرعة للذكاء الاصطناعي، يبرز نموذج Llama 3.3 70b من Meta كنموذج لغوي كبير متعدد اللغات قوي ومتعدد الاستخدامات. بفضل قدرته على تنفيذ مجموعة واسعة من المهام النصية مع الحفاظ على بصمة حاسوبية يمكن التحكم فيها، يوفر Llama 3.3 70b خيارًا ممكنًا للمطورين والباحثين على حد سواء. تقدم هذه المقالة دليلاً شاملاً حول كيفية الوصول إلى Llama 3.3 70b، مع تفصيل كل من التثبيت المحلي وAPI (مثل Novita AI) لتلبية احتياجات المستخدمين المختلفة.

ما هو Llama 3.3 70b؟

Llama 3.3 70b هو أحدث نموذج لغوي كبير متعدد اللغات (LLM) من Meta مصمم لمجموعة متنوعة من المهام النصية. مع 70 مليار معلمة، يقدم أداءً مشابهًا لنموذج Llama 3.1 405B الأكبر بكثير مع تقليل المتطلبات الحاسوبية بشكل كبير، مما يجعله أكثر سهولة في الوصول للمطورين.

الميزات الرئيسية

  • دعم متعدد اللغات: يدعم Llama 3.3 70b بشكل أصلي ثماني لغات: الإنجليزية، الفرنسية، الألمانية، الهندية، الإيطالية، البرتغالية، الإسبانية، والتايلاندية. يمكن أيضًا ضبطه بدقة للغات إضافية مع الضمانات المناسبة.
  • بنية متقدمة: يستخدم بنية محول محسّنة مع انتباه المجموعات (GQA) لتعزيز الكفاءة وقابلية التوسع.
  • طول سياق طويل: يدعم طول سياق يصل إلى 128 ألف رمز، مناسب لمعالجة النصوص الطويلة.
  • تدريب صديق للبيئة: حققت Meta صافي انبعاثات صفرية أثناء عملية تدريب النموذج.
  • تكامل الأدوات: يسمح بالتكامل مع الأدوات الخارجية وواجهات API للوصول إلى البيانات في الوقت الفعلي وتطبيقات الطرف الثالث.
  • السلامة والتوافق: تم ضبطه بدقة باستخدام الضبط الدقيق الخاضع للإشراف (SFT) والتعلم المعزز بالتغذية البشرية (RLHF) لضمان السلامة والتوافق مع التفضيلات البشرية.

https://www.youtube.com/watch?v=-dnGa6Oms5I

مقارنة مع نماذج Llama الأخرى

  • Llama 3.3 70b مقابل Llama 3.1 405B: يقدم Llama 3.3 70b أداءً مشابهًا لـ Llama 3.1 405B ولكن بكفاءة محسّنة وطلب حاسوبي أقل.
  • Llama 3.3 70b مقابل Llama 3.2: يعزز Llama 3.3 الضبط الدقيق وميزات السلامة وأداء المعايير مقارنة بـ Llama 3.2.

مقارنة مع نماذج أخرى

بينما لا يتفوق Llama 3.3 70b دائمًا على نماذج مثل GPT-4 أو Claude 3.5، فإنه يقدم نتائج تنافسية، خاصة في البرمجة والتفكير متعدد اللغات. يتفوق في مهام اتباع التعليمات، متجاوزًا كلاً من Llama 3.1 405B وGPT-4 في هذا المجال. بالإضافة إلى ذلك، فهو أكثر فعالية من حيث التكلفة من نماذج مثل Amazon Nova Pro وGPT-4 وClaude 3.5، من حيث نفقات الرموز الداخلة والخارجة.

إذا كنت ترغب في رؤية مقارنة أكثر تفصيلاً للمعلمات، يمكنك الاطلاع على هذه المقالة: Llama 3.3 Benchmark: المزايا الرئيسية ورؤى التطبيق

التطبيقات

  • روبوتات الدردشة والمساعدين الافتراضيين متعددي اللغات.
  • دعم البرمجة وتطوير البرمجيات.
  • توليد البيانات الاصطناعية.
  • إنشاء المحتوى متعدد اللغات والتوطين.
  • البحث والتجارب.
  • التطبيقات القائمة على المعرفة مثل الإجابة على الأسئلة والتلخيص.

كيفية الوصول إلى Llama 3.3 70b محليًا

متطلبات الأجهزة وتوصيات التكوين

  • GPU: NVIDIA GPU بذاكرة فيديو لا تقل عن 24 جيجابايت (مثل A100 أو H100). توصي بعض المصادر بـ NVIDIA RTX A6000 بسعة 48 جيجابايت.
  • RAM: 32 جيجابايت على الأقل (64 جيجابايت موصى بها لمجموعات البيانات الأكبر).
  • التخزين: 250 جيجابايت على الأقل من مساحة القرص الحرة؛ قد يشغل النموذج نفسه حوالي 40 جيجابايت.
  • نظام التشغيل: Linux (مفضل) أو Windows مع WSL2، مع Ubuntu 22.04 كخيار محدد.
  • البرامج: Python 3.8 أو أحدث وCUDA Toolkit 11.7 أو أعلى.
  • المكتبات المطلوبة: Hugging Face Transformers وPyTorch وأدوات التكميم والتحسين مثل bitsandbytes.

من البيانات أعلاه يمكنك معرفة لماذا تعتبر متطلبات VRAM لـ LLaMA 3.3 70B تحديًا للخوادم المنزلية؟

دليل التثبيت خطوة بخطوة

1. قم بتثبيت Python وإنشاء بيئة افتراضية

2. قم بتثبيت المكتبات المطلوبة:

   استخدم pip install bitsandbytes لتحسين GPU.

3. قم بتثبيت واجهة سطر أوامر Hugging Face وتسجيل الدخول:

   pip install huggingface-cli
   huggingface-cli login

4. اطلب الوصول إلى Llama-3.3 70b على موقع Hugging Face.

5. قم بتنزيل ملفات النموذج باستخدام واجهة سطر أوامر Hugging Face:

   huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct

6. قم بتحميل النموذج محليًا باستخدام مكتبة Hugging Face Transformers:

   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer

   model_id = "meta-llama/Llama-3.3-70B-Instruct"
   model = AutoModelForCausalLM.from_pretrained(
       model_id, device_map="auto", torch_dtype=torch.bfloat16
   )
   tokenizer = AutoTokenizer.from_pretrained(model_id)

7. قم بتشغيل الاستدلال باستخدام النموذج والـ tokenizer المحملين.

كيفية الوصول إلى Llama 3.3 70b عبر Novita AI

كيفية الوصول إلى llama 3.3 عبر api

دليل خطوة بخطوة

Novita AI تقدم منصة استدلال ميسورة التكلفة وموثوقة وبسيطة مع Llama 3.3 70b API قابلة للتوسع، لتمكين المطورين من بناء تطبيقات الذكاء الاصطناعي. جرب Novita AI Llama 3.3 70b API Demo اليوم!

الخطوة 1: تسجيل الدخول والوصول إلى مكتبة النماذج

قم بتسجيل الدخول إلى حسابك وانقر على زر مكتبة النماذج (Model Library).

تسجيل الدخول والوصول إلى مكتبة النماذج

الخطوة 2: اختر نموذجك

تصفح الخيارات المتاحة واختر النموذج الذي يناسب احتياجاتك.

اختر نموذجك

الخطوة 3: ابدأ النسخة التجريبية المجانية

ابدأ نسختك التجريبية المجانية لاستكشاف إمكانيات النموذج المحدد.

نسخة تجريبية مجانية

الخطوة 4: احصل على مفتاح API الخاص بك

للمصادقة مع API، سنزودك بمفتاح API جديد. بالدخول إلى صفحة “الإعدادات (Settings)“، يمكنك نسخ مفتاح API كما هو موضح في الصورة.

احصل على مفتاح API

الخطوة 5: قم بتثبيت API

قم بتثبيت API باستخدام مدير الحزم المخصص للغة البرمجة الخاصة بك.

تثبيت API

بعد التثبيت، قم باستيراد المكتبات اللازمة إلى بيئة التطوير الخاصة بك. قم بتهيئة API باستخدام مفتاح API الخاص بك لبدء التفاعل مع Novita AI LLM. هذا مثال على استخدام chat completions API لمستخدمي Python.

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # احصل على مفتاح Novita AI API بالرجوع إلى: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=&#91;
        {
            "role": "system",
            "content": "تصرف كما لو كنت مساعدًا مفيدًا.",
        },
        {
            "role": "user",
            "content": "مرحبًا!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices&#91;0].delta.content or "")
else:
    print(chat_completion_res.choices&#91;0].message.content)

عند التسجيل، تقدم Novita AI رصيدًا قدره 0.5 دولار لتبدأ!

إذا نفد الرصيد المجاني، يمكنك الدفع لمواصلة الاستخدام.

ما الطرق المناسبة لك؟

مقارنة بين الوصول المحلي وعبر API
الجانب الوصول المحلي الوصول عبر API
قابلية التوسع محدودة؛ تتطلب ترقيات يدوية. يتوسع تلقائيًا وبكفاءة.
المرونة مرونة عالية؛ تحكم كامل في الإعدادات. أقل مرونة؛ يعتمد على تكوينات المزود.
سهولة الاستخدام يتطلب خبرة تقنية. أسهل في الاستخدام، لا حاجة لإعداد معقد.
التكلفة تكلفة أولية عالية، تكاليف تشغيل منخفضة. الأفضل للاستخدام طويل المدى. الدفع حسب الاستخدام، مثالي للاستخدام على نطاق صغير أو العرضي.

توصيات لمجموعات المستخدمين المختلفة

  • الباحثون: يُفضل الوصول المحلي بشكل عام للمرونة والتحكم في التجارب.
  • المطورون:
    • الوصول عبر API مناسب لبناء التطبيقات والنماذج الأولية السريعة.
    • الوصول المحلي أفضل للضبط الدقيق وسير العمل المخصص.
  • الشركات: الوصول عبر API مفيد للتكامل السريع في الخدمات دون تكاليف أولية عالية. قد يكون النشر المحلي مناسبًا للفرق ذات المتطلبات الثابتة والقدرة على الاستثمار في البنية التحتية.
  • الفرق الصغيرة/الأفراد: الوصول عبر API أكثر عملية عمومًا بسبب انخفاض تكاليف البدء.
  • المستخدمون ذوو المهارات التقنية المحدودة: الوصول عبر API مفضل لأنه يلغي الحاجة إلى معرفة تقنية عميقة.

في الختام، Llama 3.3 هو نموذج قوي ومتعدد الاستخدامات وسهل الوصول يوازن بين الأداء ومتطلبات الموارد. اعتمادًا على احتياجاتك والموارد المتاحة، يمكنك اختيار تشغيله محليًا أو الوصول إليه عبر API.

الأسئلة الشائعة

Novita AI هي المنصة السحابية الشاملة التي تمكّن طموحاتك في الذكاء الاصطناعي. واجهات API متكاملة، بدون خادم، ومثيلات GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، وحوّل رؤيتك في الذكاء الاصطناعي إلى واقع.

قراءات موصى بها

مقالات ذات صلة