Vllm llama3 : Assistant pour l'efficacité et la réduction des coûts

Découvrez vLLM llama3, l’assistant ultime pour l’efficacité, la réduction des coûts et bien plus encore. Découvrez comment il peut révolutionner votre flux de travail.

Points clés

• vLLM Llama3 offre une grande précision et permet de réduire les coûts lors de l’utilisation de grands modèles de langage.
• Son architecture se concentre sur l’obtention des meilleures performances. Elle comprend des éléments clés comme les conteneurs Docker, les serveurs API et les serveurs GPU.
• Les tests montrent des gains importants en vitesse d’inférence et en débit par rapport aux versions précédentes.
• LLama3 inclut des mises à jour pour une efficacité améliorée, des améliorations logicielles et l’intégration de nouvelles technologies.

Introduction

Le monde des grands modèles de langage (LLM) virtuels est en constante évolution. Llama 3 est un bon modèle montrant évolutivité et efficacité. Il existe un besoin d’une meilleure vitesse et de moyens plus simples de les configurer. vLLM Llama3 est une réponse solide à ces besoins. Il offre une grande précision et permet également d’économiser de l’argent. Cet article de blog examine en détail vLLM Llama3. Nous explorerons sa conception, comment il améliore les performances et quelles nouvelles fonctionnalités sont incluses.

Comprendre vLLM Llama3

Au cœur de vLLM Llama3 se trouve une conception soigneusement construite visant d’excellentes performances et une croissance. Il utilise une conception de système distribué, ce qui permet de tirer le meilleur parti de nombreuses ressources de calcul, en particulier les GPU.

De plus, la configuration de vLLM Llama3 se concentre sur la flexibilité et la facilité d’extension. Cela facilite une connexion fluide avec d’autres outils et systèmes. Ainsi, les développeurs peuvent adapter le déploiement à leurs besoins spécifiques.

Qu’est-ce que VLLM ?

vLLM est une bibliothèque haute performance spécialement conçue pour faciliter l’inférence et le service des LLM. Elle se distingue par son accent sur la vitesse, l’efficacité et la rentabilité, ce qui en fait une solution accessible pour un large éventail de développeurs.

Pourquoi utiliser VLLM ?

• Débit élevé : vLLM atteint un débit de service de pointe, ce qui lui permet de gérer un volume important de requêtes.
• Gestion de la mémoire : Introduction de PagedAttention, un mécanisme avancé pour gérer efficacement la mémoire des clés et valeurs d’attention.
• Traitement par lots continu : vLLM prend en charge le traitement par lots continu des requêtes entrantes, améliorant ainsi le débit et l’efficacité globaux du modèle.
• Intégration transparente : vLLM offre un processus de déploiement des LLM comme Llama 3, permettant une intégration facile dans les systèmes et applications existants.
• Compatibilité API : Il inclut un serveur compatible OpenAI, garantissant une intégration facile dans les systèmes existants qui utilisent l’API d’OpenAI.
• Support de la quantification : VLLM utilise des techniques de quantification comme GPTQ, AWQ, SqueezeLLM et FP8 KV Cache pour permettre aux modèles de fonctionner efficacement avec une précision inférieure sans compromettre les performances.
• Évolutivité : VLLM prend en charge les déploiements à différentes échelles pour divers cas d’utilisation comme le support client et la synthèse, s’adaptant efficacement à différentes tailles de déploiement.

Qu’est-ce que Llama 3 ?

LLaMA 3, développé par Meta, cette série avancée de modèles de langage vise à améliorer les capacités de l’IA à comprendre et générer du texte semblable à celui des humains. Il s’appuie sur la version précédente Llama 2, en exploitant de grands ensembles de données et des architectures avancées pour atteindre une précision plus élevée et une génération de texte plus nuancée. Llama 3 est conçu pour être polyvalent, servant des applications dans divers domaines tels que la recherche, la création de contenu, etc.

Il existe plusieurs versions de Llama 3 : Llama 3 8B, Llama 3 8B-Instruct, Llama 3 70B, Llama 3 70B-Instruct. Llama 3 8B Instruct surpasse Gemma 7b-it, Mistral 7B Instruct tandis que Llama 3 70B Instruct montre de meilleures performances que Gemini et Claude.

Principales caractéristiques de Llama 3

• Précision améliorée : Llama 3 est précis par rapport aux modèles précédents, en particulier la version à 70 milliards de paramètres (Llama 3 70B). Il excelle dans les interactions de chat, la génération de code, la synthèse et la génération augmentée par récupération.
• Données d’entraînement accrues : Llama 3 bénéficie de données d’entraînement accrues, y compris diverses sources de texte et langues.
• Technologies avancées : Le modèle utilise des technologies telles que le tokenizer Tiktoken d’OpenAI et la parallélisation des données pour une efficacité améliorée.
• Allocation des ressources : Llama 3 utilise de nouvelles lois d’échelle pour une meilleure prédiction des performances et une allocation des ressources, maximisant l’efficacité de calcul et réduisant le temps d’exécution.
• Polyvalence : Les améliorations de Llama 3 le rendent idéal pour diverses applications dans le commerce électronique, la finance, la santé et l’éducation.
• Évolutivité et maintenance : Llama 3 dispose de piles d’entraînement avancées pour la détection, la gestion et la maintenance automatisées des erreurs afin de garantir la convivialité et l’évolutivité.

Performances et rapport coût-efficacité des modèles Llama 3

Caractéristiques techniques et performances

Llama 3 8B

• Paramètres : 8 milliards
• Longueur du contexte : 8K tokens
• Données d’entraînement : 15T tokens

Llama 3 70B

• Paramètres : 70 milliards
• Longueur du contexte : 8K tokens
• Données d’entraînement : 15T tokens

Ces deux modèles ont été publiés avant le dernier Llama 3.1 405B.

Voici un graphique des performances des modèles de base pré-entraînés.

Voici les performances des modèles instruction-tuned qui ont été affinés pour mieux comprendre et suivre les instructions fournies par les humains.

Rapport coût-efficacité de Llama 3

Après avoir analysé ses performances, nous devons considérer son coût réel. En prenant llama 3 8b comme exemple, le coût de déploiement pour le support client est le suivant.

En tant que choix parfaitement rentable, Novita AI propose meta-llama/llama-3–8b-instruct et meta-llama/llama-3–70b-instruct à moins de 1 $/M pour les tokens d’entrée et de sortie. Vous pouvez voir plus de modèles sur LLM Model API.

Nous offrons également la version la plus récente meta-llama/llama-3.1–405b-instruct. Récemment, nous avons réduit le prix de Llama 3.1 405B à 2,75 $ par million de tokens !

Commencer avec VLLM Llama 3

Prérequis techniques

Assurez-vous de répondre aux exigences suivantes avant de commencer :

1. Un serveur avec un GPU compatible (comme NVIDIA A100 fourni par Novita AI).
2. Installer Python dans votre système dans le bon répertoire.
3. Assurer un accès Internet fluide.

Déployer vLLM Llama 3

1. Installer vLLM : Configurez l’environnement vLLM sur votre serveur. Vous pouvez utiliser pip pour installer vLLM comme :

pip install vllm

2. Charger le modèle : Chargez le modèle Llama 3 8B dans vLLM :

from vllm import LLM
model = LLM("meta-llama/Meta-Llama-3–8B-Instruct")

3. Exécuter l’inférence LLM : Utilisez le modèle pour l’inférence :

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3–8B-Instruct")
messages = [{"role": "user", "content": "What is the capital of France?"}]
formatted_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
output = model.generate(formatted_prompt)
print(output)

Conseils avancés

• La personnalisation du service Llama3 est essentielle pour répondre à divers besoins. Le framework permet une flexibilité dans la configuration, comme l’allocation des ressources et les paramètres du modèle.
• En ajustant les paramètres de l’API, les développeurs peuvent personnaliser le comportement et les sorties du modèle pour divers cas d’utilisation.
• L’auto-ajustement est crucial en apprentissage automatique. vLLM Llama3 exploite cette technologie pour améliorer les performances en ajustant les paramètres à l’aide d’algorithmes d’IA et de ML. Cette boucle de rétroaction affine en continu des facteurs comme la latence et le débit pour des performances utilisateur optimales sans intervention manuelle.
• Vous pouvez également utiliser l’image Docker pour plus d’efficacité. Améliorez les performances avec des techniques comme la quantification.

Guide du développeur pour tirer parti de Llama 3 : LLM API

Déployer Llama 3 est complexe. Pour utiliser efficacement Llama 3, les développeurs peuvent comprendre ses fonctionnalités et ses API. Nous recommandons Novita AI pour une intégration LLM API rentable, car cette plateforme API IA est équipée de modèles vedettes et de solutions LLM abordables.

Commencer avec l’API Novita AI

• Étape 1 : Entrez sur Novita AI et créez un compte. Vous pouvez vous connecter avec Google ou GitHub. Votre première connexion créera un nouveau compte. Il est acceptable de s’inscrire en utilisant votre adresse e-mail.

• Étape 2 : Gérer la clé API. Novita AI authentifie l’accès API en utilisant l’authentification Bearer avec une clé API dans l’en-tête de la requête. Allez dans “Key Management” pour gérer vos clés. Une fois connecté pour la première fois, une clé par défaut est automatiquement créée. Vous pouvez également cliquer sur “+ Add new key”.

• Étape 3 : Effectuer un appel API. Entrez votre clé API dans le backend pour poursuivre les tâches suivantes.

Voici un exemple avec un client Python utilisant l’API Chat Completions de Novita AI.

pip install 'openai>=1.0.0'

from openai import OpenAIclient = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Obtenez la clé API Novita AI en vous référant à : https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<VOTRE CLÉ API Novita AI>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
 )if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Pour plus d’informations, vous pouvez consulter Model API Reference.

• Étape 4. Recharger du crédit. Comme mentionné dans la première étape, vous avez un bon avec des crédits pour essayer nos produits, mais il est limité. Pour ajouter plus de crédit, veuillez visiter Billing and Payments et suivre le guide sur Payment Methods.

Conclusion

En résumé, vLLM Llama3 est une excellente solution qui facilite le travail et réduit les coûts. En comprenant son fonctionnement, en améliorant les performances et en suivant les évolutions des exigences de configuration, les développeurs peuvent en tirer le meilleur parti. Le modèle Llama3 continue de s’améliorer, montrant un fort engagement envers la qualité. Avec des plans tournés vers l’avenir et des méthodes de réglage avancées, vLLM Llama3 ouvre la voie à de nouvelles idées dans les technologies d’IA et de ML. Surveillez les nouvelles fonctionnalités et les plans à long terme qui contribueront à façonner l’avenir du service de modèles.

Foire aux questions

Quelle est la différence entre vLLM et TGI ?

VLLM est un moteur d’inférence et de service LLM open source qui utilise l’algorithme d’allocation mémoire PagedAttention. Il offre jusqu’à 24x plus de débit que Hugging Face Transformers et jusqu’à 3,5x plus de débit que Hugging Face Text Generation Inference.

Comment fonctionne le traitement par lots dans vLLM ?

Selon la documentation de vLLM, ils utilisent le traitement par lots continu, permettant à la taille du lot de s’ajuster dynamiquement à mesure que les tokens sont générés.

Llama 3 est-il gratuit ?

Llama 3 est open source et disponible gratuitement. Cependant, pour son utilisation via API, cela peut coûter environ 0,1 $/M pour les tokens d’entrée et de sortie.

Puis-je utiliser Llama 3 pour un usage professionnel ?

La dernière version de Llama 3 est couverte par le “Meta LLama 3 Community License Agreement”, ce qui permet presque tous les usages commerciaux. Les entreprises utilisent Llama3 pour générer du contenu éducatif, fournir des détails médicaux, etc.

Novita AI est la plateforme cloud tout-en-un qui propulse vos ambitions en IA. API intégrées, sans serveur, Instance GPU — les outils rentables dont vous avez besoin. Éliminez l’infrastructure, commencez gratuitement, et réalisez votre vision de l’IA.

Lecture recommandée

1*.*Présentation de Llama3 405B : versions LLM disponibles ouvertement

2.Explorez le coût de Llama 3 : solutions abordables pour vos besoins

3.Dévoilement des modèles de la liste VLLM : un guide complet