النقاط البارزة الرئيسية
نظرة عامة على النموذج: Llama 3.2 1B هو نموذج لغوي كبير خفيف متعدد اللغات من Meta، مصمم للاستخدام الفعال على الأجهزة الطرفية والمحمولة.
طريقة التدريب: يستخدم التقليم المنظم واستخلاص المعرفة من النماذج الأكبر.
متطلبات الأجهزة: يتطلب 3.14 جيجابايت من VRAM للاستنتاج و 14.11 جيجابايت للضبط الدقيق.
Llama 3.2 1B هو نموذج لغوي كبير متطور متعدد اللغات تم إنشاؤه بواسطة Meta، مصمم خصيصًا للنشر الخفيف على الأجهزة المحمولة والطرفية. تسمح هندسته بأداء قوي عبر مهام معالجة اللغة الطبيعية المختلفة مع الحفاظ على كفاءة استخدام الموارد.
قم بإحالة أصدقائك إلى Novita AI وستحصلان معًا على 10 دولارات من أرصدة API LLM — حتى 500 دولار من المكافآت الإجمالية.
لدعم مجتمع المطورين، أصبح Llama 3.2 1B و Qwen2.5-7B و Qwen 3 0.6B و Qwen 3 1.7B و Qwen 3 4B متاحًا مجانًا على Novita AI حاليًا.
ما هو Llama 3.2 1B؟
نموذج Llama 3.2 1B هو نموذج لغوي كبير خفيف متعدد اللغات طورته Meta، مصمم للعمل بكفاءة على الأجهزة الطرفية والمحمولة مع تقديم أداء قوي لمختلف مهام معالجة اللغة الطبيعية.
-
حجم النموذج: 1B
-
مفتوح المصدر: نعم
-
الهندسة: محول كثيف (Dense Transformer)
-
طول السياق: 128,000 رمز
-
اللغات المدعومة متعددة اللغات:
- المدعومة رسميًا: الإنجليزية، الألمانية، الفرنسية، الإيطالية، البرتغالية، الهندية، الإسبانية، التايلاندية
- مجموعة أوسع: تم تدريبه على لغات إضافية تتجاوز الثمانية المذكورة.
-
القدرة متعددة الوسائط:
- الإدخال: نص
- الإخراج: نص ورمز
-
طريقة التدريب: تم تدريب Llama 3.2 1B باستخدام التقليم المنظم من نموذج Llama 3.1 8B، حيث تمت إزالة أجزاء من الشبكة بشكل منهجي مع ضبط الأوزان لإنشاء نموذج أصغر وأكثر كفاءة. كما استخدم استخلاص المعرفة، حيث تم استخدام المخرجات (logits) من نماذج Llama 3.1 8B و 70B كأهداف على مستوى الرمز أثناء التدريب المسبق. مكّن هذا الأسلوب Llama 3.2 1B من الاستفادة من رؤى النماذج الأكبر، مما عزز أداءه بعد عملية التقليم.
معايير Llama 3.2 1B
متطلبات أجهزة Llama 3.2 1B
تفاصيل الاستنتاج
-
النموذج: Llama 3.2 1B
-
القياس الكمي: FP16
-
VRAM المطلوب (الاستنتاج): 3.14 جيجابايت
-
وحدات المعالجة الرسومية المتوافقة:
- RTX 3090 (12 جيجابايت)
- RTX 4060 (8 جيجابايت)
تفاصيل الضبط الدقيق
- النموذج: Llama 3.2 1B
- القياس الكمي: FP16
- VRAM المطلوب (الضبط الدقيق): 14.11 جيجابايت
- وحدة المعالجة الرسومية المتوافقة: RTX 4090 (24 جيجابايت)
أصدرت Meta إصدارات مكممة من نماذج Llama 3.2 1B و 3B، مما قلل حجمها ومتطلباتها الحاسوبية بشكل كبير. توفر هذه النماذج المكممة تقليصًا يصل إلى 56% في حجم النموذج وانخفاضًا بنسبة 41% في استخدام الذاكرة مقارنة بنظيراتها الأصلية. تجعل هذه التحسينات مناسبة للنشر على الأجهزة المحمولة، بما في ذلك الهواتف الذكية المزودة بوحدات المعالجة المركزية القائمة على ARM.
كيف يمكن الوصول إلى Llama 3.2 1B؟
الخطوة 1: تسجيل الدخول والوصول إلى مكتبة النماذج
سجل الدخول إلى حسابك وانقر على زر مكتبة النماذج (Model Library).
الخطوة 2: اختر نموذجك
تصفح الخيارات المتاحة وحدد النموذج الذي يناسب احتياجاتك.
الخطوة 3: ابدأ النسخة التجريبية المجانية
ابدأ نسختك التجريبية المجانية لاستكشاف قدرات النموذج المحدد.
الخطوة 4: احصل على مفتاح API الخاص بك
للمصادقة مع API، سنزودك بمفتاح API جديد. بالدخول إلى صفحة “الإعدادات (Settings)”، يمكنك نسخ مفتاح API كما هو موضح في الصورة.
الخطوة 5: تثبيت API
قم بتثبيت API باستخدام مدير الحزم الخاص بلغة البرمجة الخاصة بك.
بعد التثبيت، قم باستيراد المكتبات اللازمة إلى بيئة التطوير الخاصة بك. قم بتهيئة API باستخدام مفتاح API الخاص بك لبدء التفاعل مع Novita AI LLM. هذا مثال على استخدام واجهة chat completions API لمستخدمي Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "meta-llama/llama-3.2-1b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
باختصار، يتميز Llama 3.2 1B بقدرته على تقديم قدرات معالجة لغة قوية على الأجهزة المحدودة الموارد. بفضل طبيعته مفتوحة المصدر وهندسته المحسّنة، يعمل كأداة قيمة للمطورين الذين يبحثون عن حلول ذكاء اصطناعي فعالة.
الأسئلة المتكررة
ما هو Llama 3.2 1B؟
نموذج لغوي خفيف متعدد اللغات مصمم للنشر الفعال على الأجهزة المحمولة.
ما هي متطلبات الأجهزة لـ Llama 3.2 1B؟
يتطلب الاستنتاج 3.14 جيجابايت من VRAM؛ ويحتاج الضبط الدقيق إلى 14.11 جيجابايت من VRAM.
هل نماذج Llama 3.2 1B مجانية الاستخدام؟
نعم! تقدم Novita AI وصولًا مجانيًا إلى نماذج Llama 3.2 1B مع تكامل API سهل.
Novita AI هي منصة سحابية للذكاء الاصطناعي تقدم للمطورين طريقة سهلة لنشر نماذج الذكاء الاصطناعي باستخدام واجهة برمجة التطبيقات البسيطة لدينا، مع توفير وحدات معالجة رسومية (GPU) سحابية ميسورة التكلفة وموثوقة لبناء وتوسيع النماذج.**
