ي encountered المطورون الذين يستكشفون Kimi K2 Thinking بسرعة مشكلة أساسية واحدة: تصميمه MoE بمعلمات تريليونية ونافذة السياق 256K تتطلب ذاكرة فيديو (VRAM) هائلة، مما يجعل النشر المحلي مكلفًا وصعبًا.
توضح هذه المقالة سبب حاجة Kimi K2 Thinking إلى كمية ذاكرة كبيرة جدًا، وتقارن بين احتياجات ذاكرة الفيديو عبر مستويات التكميم، وتقدم مسارات نشر عملية منخفضة التكلفة - بما في ذلك التكميم، التفريغ، استراتيجيات وحدات معالجة الرسوميات السحابية، واستخدام واجهة برمجة التطبيقات (API). توفر هذه المقالة خطة موجزة لاختيار الطريقة المناسبة بناءً على الميزانية، وحدود الأجهزة، وأهداف المشروع.
متطلبات ذاكرة الفيديو (VRAM) لنموذج Kimi K2 Thinking
FP16
| حجم السياق | ذاكرة الفيديو المطلوبة | تكوين وحدة معالجة الرسوميات |
|---|---|---|
| 1024 رمز | 2009.74 جيجابايت | 132 × RTX 4090 (24 جيجابايت) 33 × H100 (80 جيجابايت) 28 × M3 Max (128 جيجابايت) |
| 256,000 رمز | 2901.64 جيجابايت | 208 × RTX 4090 (24 جيجابايت) 49 × H100 (80 جيجابايت) 46 × M3 Max (128 جيجابايت) |
INT8
| حجم السياق | ذاكرة الفيديو المطلوبة | تكوين وحدة معالجة الرسوميات |
|---|---|---|
| 1024 رمز | 1008.85 جيجابايت | 58 × RTX 4090 (24 جيجابايت) 15 × H100 (80 جيجابايت) 12 × M3 Max (128 جيجابايت) |
| 256,000 رمز | 1677.77 جيجابايت | 106 × RTX 4090 (24 جيجابايت) 27 × H100 (80 جيجابايت) 23 × M3 Max (128 جيجابايت) |
INT4 / Ollama
| حجم السياق | ذاكرة الفيديو المطلوبة | تكوين وحدة معالجة الرسوميات |
|---|---|---|
| 1024 رمز | 508.40 جيجابايت | 27 × RTX 4090 (24 جيجابايت) 8 × H100 (80 جيجابايت) 6 × M3 Max (128 جيجابايت) |
| 256,000 رمز | 1065.84 جيجابايت | 62 × RTX 4090 (24 جيجابايت) 16 × H100 (80 جيجابايت) 13 × M3 Max (128 جيجابايت) |
لماذا يتطلب Kimi K2 Thinking كمية هائلة من ذاكرة الفيديو (VRAM)؟
نظرة عامة على النموذج
- عائلة النموذج: Kimi K2 → Kimi K2 Thinking
- المعلمات النشطة: 1T
- طول السياق: 256,000 رمز
- النمط: نص
- الهندسة المعمارية: مزيج من الخبراء (MoE)
- الترخيص: MIT معدل
- تاريخ الإصدار: 7 نوفمبر 2025
يزيد نظام MoE الخاص بـ Kimi K2 Thinking من عدد الخبراء الذين يتم تحميلهم في كل عملية تمرير أمامي، مما يزيد بشكل كبير من البصمة الذاكرية، وتوسع ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache)، والعبء الحسابي.
مزيج من الخبراء:
- إجمالي 384 خبير
- 8 خبراء نشطين لكل رمز
- يضاعف هذا استخدام الذاكرة مقارنة بالنماذج الكثيفة، حيث يجب تحميل أوزان كتل خبراء متعددة في وقت واحد.
عدد معلمات الخبراء:
- 32B معلمة لكل مجموعة خبراء (إجمالي معلمات الخبراء)
- تتطلب طبقات الخبراء عالية الأبعاد عرض ذاكرة واسع النطاق.
سياق 256K:
- يتوسع ذاكرة التخزين المؤقت KV بشكل خطي مع طول السياق.
- عند 256,000 رمز، تهيمن ذاكرة التخزين المؤقت وحدها على ذاكرة الفيديو (VRAM)، حتى تحت التكميم منخفض البت.
الحجم النشط بمعلمات تريليونية:
- 1T معلمة نشطة أثناء الاستدلال تعني أن حتى الإصدارات المكممة تظل ضخمة للغاية.
- من المستحيل عمليًا استضافة FP16 دون مئات وحدات معالجة الرسوميات (GPUs).
كيفية تشغيل Kimi K2 Thinking محليًا بأقل تكلفة ممكنة؟
يمكن تشغيل Kimi K2 Thinking محليًا فقط مع تكميم مكثف وتفريغ كامل. يعتمد النشر منخفض التكلفة على تصغير النموذج ودفع معظم الأوزان إلى ذاكرة الوصول العشوائي (RAM) أو القرص الصلب بدلاً من ذاكرة الفيديو (VRAM).
للحصول على وحدة معالجة رسوميات سحابية منخفضة التكلفة بدلاً من الأجهزة المحلية، توفر Novita AI وحدات معالجة رسوميات سحابية، ومثيلات Spot، ومستويات تسعير متعددة. يوفر هذا مسارًا أرخص من شراء وحدات معالجة رسوميات كبيرة مباشرة.
https://www.youtube.com/watch?v=y6U36dO2jk0
يعرض مقطع يوتيوب تجريبي تشغيل Kimi K2 Thinking محليًا على Mac Studio تحت تكميم مكثف وتفريغ.
يوفر Unsloth تكميمًا ديناميكيًا 1.8 بت يقلل من نموذج 1T معلمة من مقياس التيرابايت إلى حجم يمكن لمعظم الأجهزة تحميله - مع بعض التنازلات! يمكنك نشر هذا النموذج على وحدة معالجة الرسوميات السحابية لـ Novita AI لرؤية أداء نموذج kimi k2 thinking والاستعداد لأعمالك الخاصة!
تحقق من وحدة معالجة الرسوميات السحابية الرخيصة على Novita AI
سيتم إطلاق مثيلات Spot من Novita AI مع:
- فترة حماية مدتها ساعة واحدة
- توفير في التكاليف يصل إلى 50%
- إشعار مسبق بالانقطاع مدته ساعة واحدة
يمكنك استخدام الحوسبة الشبيهة بمثيل Spot فقط إذا:
- كانت قاعدة البيانات موزعة ومكررة
- كان النظام متانًا لفقدان العقد
- كان عبء العمل غير حرج أو لأغراض الاختبار
دليل نشر نموذج Kimi K2 Thinking على Novita AI
الخطوة 1：إنشاء حساب أنشئ حسابك على Novita AI من خلال موقعنا الإلكتروني. بعد التسجيل، انتقل إلى قسم “Explore” في الشريط الجانبي الأيسر لعرض عروض وحدات معالجة الرسوميات (GPU) لدينا وابدأ رحلة تطوير الذكاء الاصطناعي الخاصة بك.
الخطوة 2：استكشاف القوالب وخوادم وحدات معالجة الرسوميات** اختر من بين القوالب مثل PyTorch أو TensorFlow أو CUDA التي تناسب احتياجات مشروعك. ثم اختر تكوين وحدة معالجة الرسوميات المفضل لديك - تشمل الخيارات القوية L40S أو RTX 4090 أو A100 SXM4، لكل منها مواصفات مختلفة لذاكرة الفيديو (VRAM)، وذاكرة الوصول العشوائي (RAM)، والتخزين.
الخطوة 3：تخصيص عملية النشر الخاصة بك قم بتخصيص بيئتك عن طريق اختيار نظام التشغيل المفضل لديك وخيارات التكوين لضمان الأداء الأمثل لعبء عمل الذكاء الاصطناعي المحدد الخاص بك واحتياجات التطوير.
الخطوة 4：إطلاق مثيل حدد “Launch Instance” لبدء عملية النشر. ستكون بيئة وحدة معالجة الرسوميات عالية الأداء جاهزة في غضون دقائق، مما يسمح لك بالبدء فورًا في مشاريع التعلم الآلي أو العرض الحاسوبي أو المشاريع الحسابية الخاصة بك.
كيفية توفير ذاكرة Kimi K2 Thinking أثناء النشر؟
1. تفريغ GPU انتقائي نعم. يمكنك الاحتفاظ بالموجه وآلية الانتباه على وحدة معالجة الرسوميات (GPU) وتفريغ خبراء MoE FFN إلى ذاكرة الوصول العشوائي (RAM) أو محرك الأقراص ذي الحالة الصلبة (SSD) باستخدام أقنعة التعبير النمطي (regex masks). يعمل مع إصدارات MoE من llama.cpp بتنسيق GGUF.
2. التكميم الديناميكي 2 بت (Q2-K-XL) نعم. يوفر Unsloth نماذج مكممة Q2 و 1.8 بت لنموذج Kimi K2 / K2 Thinking. هذه النماذج تقلل من استخدام الذاكرة بشكل كبير مع الحفاظ على دقة عالية.
3. تكميم ذاكرة التخزين المؤقت KV
نعم. يؤدي استخدام --cache-type-k q4_1 و --cache-type-v q4_1 إلى تقليل ذاكرة التخزين المؤقت KV بمقدار 4 أضعاف تقريبًا. فعال جدًا للنماذج ذات سياق 256K.
4. وضع الانتباه السريع (Flash Attention) ووضع الإنتاجية العالية نعم، إذا كان إصدارك يدعم MoE + Flash Attention. يساعد في تقليل ذاكرة التنشيط وزيادة السرعة.
5. اقتطاع السياق نعم. يقلل تقليل السجل إلى 8K–16K رمز من ذاكرة KV بشكل كبير. ضروري لنموذج Kimi K2 Thinking.
6. الدفعات جزئيًا. لا يقلل من ذاكرة الفيديو (VRAM) لكل طلب، ولكنه يحسن من الإنتاجية
طريقة أخرى فعالة لاستخدام Kimi K2 Thinking: استخدام واجهة برمجة التطبيقات (API)
توفر Novita AI واجهات برمجة تطبيقات (APIs) تعليمية لنموذج Kimi K2 Thinking مع سياق 262K، وتكاليف 0.60 دولار لكل مدخل و 2.5 دولار لكل مخرج، مما يوفر دعماً قوياً لتعظيم إمكانيات وكيل التعليمات البرمجية لنموذج Kimi K2 Thinking.
Novita AI
| الجانب | واجهة برمجة التطبيقات (API) | وحدة معالجة الرسوميات المحلية (Local GPU) | وحدة معالجة الرسوميات السحابية (Cloud GPU) |
|---|---|---|---|
| الإعداد | فوري | معقد | متوسط |
| الصيانة | لا يوجد | مرتفع | متوسط |
| التكلفة | الأعلى لكل وحدة | الأدنى (عند التوسع) | متوسط |
| قابلية التوسع | تلقائي | صعب | سهل |
| الخصوصية | تخرج البيانات | محلي كامل | تخرج البيانات |
| التخصيص | الأقل | الأكثر | مرتفع |
| الأفضل لـ | بداية سريعة، صغير/متوسط، بدون بنية تحتية | عبء عمل كبير ومستقر، خصوصية قصوى | عبء عمل كبير/متغير، نماذج مخصصة |
الخطوة 1: تسجيل الدخول إلى حسابك والنقر على زر مكتبة النماذج.
الخطوة 2: اختر النموذج الخاص بك تصفح الخيارات المتاحة واختر النموذج الذي يناسب احتياجاتك.
الخطوة 3: ابدأ تجربتك المجانية ابدأ تجربتك المجانية لاستكشاف إمكانيات النموذج المحدد.
الخطوة 4: احصل على مفتاح API الخاص بك للمصادقة مع واجهة برمجة التطبيقات (API)، سنزودك بمفتاح API جديد. عند الدخول إلى صفحة “الإعدادات”، يمكنك نسخ مفتاح API كما هو موضح في الصورة.
الخطوة 5: تثبيت واجهة برمجة التطبيقات (API) قم بتثبيت واجهة برمجة التطبيقات (API) باستخدام مدير الحزم الخاص بلغة البرمجة التي تستخدمها.
بعد التثبيت، قم باستيراد المكتبات الضرورية إلى بيئة التطوير الخاصة بك. قم بتهيئة واجهة برمجة التطبيقات (API) باستخدام مفتاح API الخاص بك لبدء التفاعل مع نموذج اللغة الكبير (LLM) لـ Novita AI. هذا مثال على استخدام واجهة برمجة تطبيقات إكمال الدردشة لمستخدمي لغة بايثون.
from openai import OpenAI
client = OpenAI(
api_key="<Your API Key>",
base_url="https://api.novita.ai/openai"
)
response = client.chat.completions.create(
model="moonshotai/kimi-k2-thinking",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, how are you?"}
],
max_tokens=262144,
temperature=0.7
)
print(response.choices[0].message.content)
ينبع البصمة الذاكرية الهائلة لنموذج Kimi K2 Thinking من معلماته النشطة البالغة 1T، وهندسته المعمارية MoE، وتوسع ذاكرة التخزين المؤقت KV البالغ 256K. تتراوح متطلبات ذاكرة الفيديو (VRAM) من ~500 جيجابايت (INT4) إلى ما يقرب من 3 تيرابايت (FP16)، وهو ما يتجاوز بكثير وحدات معالجة الرسوميات الاستهلاكية. ومع ذلك، فإن التكميم المكثف، والتفريغ الانتقائي، وضغط ذاكرة التخزين المؤقت KV، والتحكم في السياق يسمحون بنشر محلي محدود. توفر وحدات معالجة الرسوميات السحابية وواجهة برمجة التطبيقات (API) الدفع حسب الاستخدام من Novita AI بديلاً أكثر سهولة في الوصول وقابلية للتوسع. معًا، تجعل هذه الخيارات تشغيل Kimi K2 Thinking ممكنًا لكل من الهواة وأحمال العمل الإنتاجية دون الحاجة إلى شراء أجهزة ضخمة.
الأسئلة الشائعة
لماذا يتطلب Kimi K2 Thinking كمية كبيرة جدًا من ذاكرة الفيديو (VRAM)؟ يستخدم Kimi K2 Thinking هندسة معمارية MoE بمعلمات تريليونية تحتوي على 384 خبير و 8 خبراء نشطين لكل رمز، بالإضافة إلى نافذة سياق 256K. توسع هذه الهياكل تحميل الأوزان وذاكرة التخزين المؤقت KV بشكل كبير يتجاوز النماذج النموذجية.
كم كمية ذاكرة الفيديو (VRAM) التي يحتاجها Kimi K2 Thinking في وضع FP16؟ يتطلب Kimi K2 Thinking في وضع FP16 ~2009 جيجابايت لـ 1K رمز و ~2901 جيجابايت لـ 256K رمز، مما يجعله عمليًا فقط على مجموعات كبيرة متعددة وحدات معالجة الرسوميات (GPUs).
هل يمكنني تشغيل Kimi K2 Thinking محليًا على وحدة معالجة رسوميات (GPU) سعتها 24 جيجابايت؟ نعم - فقط باستخدام Kimi K2 Thinking المكمم 1.8 بت من Unsloth وتفريغ MoE بالكامل إلى ذاكرة الوصول العشوائي (RAM) أو محرك الأقراص ذي الحالة الصلبة (SSD). توقع سرعة بطيئة جدًا (1-2 رمز في الثانية).
Novita AI هي منصة سحابية للذكاء الاصطناعي توفر للمطورين طريقة سهلة لنشر نماذج الذكاء الاصطناعي باستخدام واجهة برمجة التطبيقات (API) البسيطة الخاصة بنا، بالإضافة إلى توفير سحابة وحدات معالجة رسوميات (GPU) موثوقة وبأسعار معقولة للبناء والتوسع.
قراءات موصى بها
