الأبحاث

تعلم كيف يقلل أخذ العينات التخميني والقياس المنخفض الدقة من التكاليف ويسرع السرعة، ويقدم حلولاً عملية لنشر الذكاء الاصطناعي القابل للتوسع.

تعمل Novita AI على تسريع تحميل Llama-70B باستخدام التخفيف KV، مما يقلل من استهلاك الذاكرة والحساب والتحميل I/O لتسريع الاستدلال بأقل خسارة في الدقة.

اكتشف كيفية اختيار وحدات معالجة رسومات فعالة من حيث التكلفة لاستدلال النماذج الكبيرة، مع التركيز على مقاييس الأداء وأفضل الممارسات لتعزيز الكفاءة.

عزز سرعة استدلال الذكاء الاصطناعي باستخدام KV Sparsity. افهم كيف تعمل وقم بتحسين نماذجك للتطبيقات الواقعية.

حاليًا، لجدولة Pods GPU في Kubernetes (k8s)، يتم تطبيق حلول توسعة مختلفة، بما في ذلك Device Plugin و Extended Resource و scheduler extender و scheduler framework، أو تطوير...

يعد تعيين المنافذ جانبًا حاسمًا في تطوير ونشر التطبيقات المعبأة في حاويات. عادةً، نقوم بإنشاء اتصال بين المنفذ الداخلي للحاوية ومنفذ على جهاز المضيف عند إنشاء الحاوية. ومع ذلك،...

قدم ميتشل ستيرن وآخرون في عام 2018 المفهوم الأولي لفك التشفير التخميني. وقد تم تطوير هذه الطريقة وتحسينها منذ ذلك الحين من خلال عدة مقاربات، بما في ذلك Looka