Déployer un modèle de base personnalisé avec LLM Point de terminaison dédié : flexible, fiable et évolutif

Novita AI's LLM Point de terminaison dédié est un service récemment lancé qui vous permet de déployer facilement vos propres modèles Hugging Face personnalisés ou affinés.

Avec H100 dédié GPUs à partir de 1.86 $/h et H200 à partir de 2.99 $/h, Novita AI offre des prix très compétitifs, souvent plus rentables que des alternatives telles que Together AI, Fireworks AI et Friendli AI.

Bénéficiez d'un support LoRA flexible, d'un SLA de 99.5 % et d'une évolutivité GPU options. Configurer pour la production LLM points de terminaison en quelques minutes et gérez vos ressources en toute confiance avec une tarification transparente et prévisible.

Qu'est-ce que le LLM Point de terminaison dédié ?

An LLM Point de terminaison dédié Fournit une API privée basée sur le cloud pour exécuter des modèles linguistiques volumineux sur une infrastructure réservée à votre usage exclusif. Cette configuration garantit des performances constantes, une fiabilité élevée et une isolation complète des ressources pour vos modèles, contrairement aux solutions partagées ou sans serveur.

Grâce à un point de terminaison dédié, vous pouvez déployer des modèles open source et privés sur Hugging Face, y compris vos variantes personnalisées ou optimisées. Vos données sensibles et votre propriété intellectuelle restent protégées, car vos modèles et votre trafic ne sont jamais exposés aux autres utilisateurs.

Pourquoi choisir LLM Point de terminaison dédié ?

Avec Novita AI's LLM Point de terminaison dédié, vous obtenez un environnement robuste et flexible pour vos charges de travail d'IA :

• Déploiement de modèles personnalisés : Servez facilement n'importe quel modèle Hugging Face, y compris les versions privées et affinées, dans un environnement isolé et dédié.
• Gestion flexible de l'adaptateur LoRA : Connectez et basculez entre plusieurs adaptateurs LoRA sur un même point de terminaison. Expérimentez, itérez et prenez en charge diverses tâches sans redéployer votre modèle de base.
• Performances prévisibles : Des ressources dédiées garantissent un débit constant et une faible latence, sans impact sur les autres utilisateurs. Il n'y a pas de limite de débit stricte ; la capacité de votre terminal est déterminée par le matériel et la configuration choisis.
• Matériel évolutif : Passez d'une situation inactive (0 réplica) à 10 réplicas maximum par point de terminaison et choisissez le GPU le type qui correspond à vos besoins. Chaque utilisateur peut accéder jusqu'à 8 GPUs, avec extension d'entreprise disponible.
• Tarification transparente : H100 à partir de 1.86 $/h, H200 à partir de 2.99 $/h : payez uniquement ce que vous utilisez. Les terminaux dédiés sont souvent plus rentables que les solutions sans serveur en cas d'utilisation intensive ou soutenue.
• Gestion conviviale : Console Web intuitive pour le déploiement et la gestion, ainsi que des tests Playground instantanés pour une validation rapide.
• Fiabilité prête pour la production : Garantie de disponibilité de 99.5 %, entièrement gérée par Novita AI pour la tranquillité d'esprit.

Comment choisir : point de terminaison dédié ou point de terminaison sans serveur

Choisir le bon type de LLM Le point de terminaison d'inférence dépend de votre cas d'utilisation, de votre charge de travail et de vos exigences opérationnelles. Voici un guide rapide pour vous aider à choisir :

Choisissez LLM Sans serveur Point final si :

• Vous souhaitez un accès rapide et flexible aux informations publiques LLMs sans gestion d'infrastructure.
• Votre utilisation est faible, variable ou destinée au prototypage.
• Vous souhaitez une tarification simple et à l’utilisation.

Choisissez LLM Point de terminaison dédié si :

• Vous souhaitez déployer n'importe quel modèle Hugging Face (y compris privé, affiné ou fermé).
• Vous devez configurer les adaptateurs et les paramètres LoRA de manière flexible.
• Vous avez besoin d’un matériel dédié, d’un débit élevé et stable et d’une fiabilité de niveau production.
• Vous souhaitez optimiser pour le plus bas GPU coût dans l'industrie.
• Vous avez besoin de jusqu'à 8 GPUs par utilisateur, ou plus.

Si vous avez besoin de plus de ressources, veuillez contacter notre équipe de vente pour une solution d'entreprise personnalisée.

Aspect	LLM Point de terminaison sans serveur	LLM Point de terminaison dédié (DE))
Modèle de facturation	Paiement à l'utilisation (par jeton)	Pay-per-GPU par heure
Type de ressource	Partagé, sans serveur (multi-locataire)	Dédié, contrôlé par l'utilisateur (locataire unique)
Cohérence des performances	Peut fluctuer (charge partagée)	Prévisible, non affecté par les autres utilisateurs
Limites de taux	Oui (TPM, RPM par niveau d'utilisateur)	Aucune limite de débit stricte ; limité par l'utilisateur GPU quota
Sélection de modèle	Modèles publics uniquement	Chargez des modèles de base personnalisés à partir des référentiels Hugging Face (publics, privés ou fermés) ; prend en charge la configuration des paramètres LoRA
Choix du matériel	Non sélectionnable	Souple : H100, H200, 4090, etc.
Région de déploiement	Non sélectionnable par l'utilisateur	L'utilisateur peut choisir la région
Contrat de niveau de service	Aucune garantie formelle	99.5% SLA
Coût d'utilisation élevé	Plus cher à grande échelle	Moins cher avec une utilisation élevée
Sécurité et isolement des données	Environnement partagé	Isolation complète des locataires, points de terminaison privés
Idéal pour	Startups, prototypage, utilisation fluctuante	Entreprise, production, haut débit stable, modèles de base personnalisés

Point de terminaison dédié GPU Comparaison de prix

Lors du choix d’un fournisseur, la rentabilité est essentielle, en particulier pour les déploiements à l’échelle de la production. Novita AI offre les tarifs horaires les plus bas pour les H100 et H200 dédiés GPUs parmi les principaux fournisseurs :

Provider	H100 (1 carte/H)	H200 (1 carte/H)
Novita AI	$1.86	$2.99
IA de feux d'artifice	$5.80	$9.99
IA amicale	$4.90	$5.90
Ensemble IA	$3.36	$4.99
Deepinfra	$2.40	$3.00

Comme montré ci-dessus, Novita AI offre systématiquement les prix les plus compétitifs pour les H100 et H200 GPUs—jusqu'à 60 % de moins que les autres fournisseurs populaires.

Cela signifie que vous pouvez réduire considérablement les coûts d'infrastructure pour les applications à haut débit ou de longue durée. LLM déploiements en choisissant Novita AI.

Comment démarrer avec Novita AI LLM Points de terminaison dédiés

1. Accéder à la console

• Connectez-vous à votre Novita AI Console.
• Dans la barre latérale gauche, cliquez sur LLM Points de terminaison dédiés.

2. Créer un nouveau point de terminaison

• Cliquez sur + Nouveau point de terminaison bouton dans le coin supérieur droit.

3. Configurez votre point de terminaison

Remplissez le formulaire de configuration avec les options suivantes :

• Nom du point de terminaison : Donnez à votre déploiement un nom unique et descriptif.
• Modèle de base : Saisissez le nom du référentiel Hugging Face pour votre modèle de base (seuls les modèles Hugging Face sont pris en charge, y compris les modèles publics, privés ou fermés).
• Adaptateurs LoRA (en option) : Ajoutez un ou plusieurs identifiants de modèle Hugging Face pour attacher des adaptateurs LoRA à votre modèle de base.
• Instance Catégorie: Sélectionnez le GPU matériel (par exemple, H100, H200, RTX4090). Chaque utilisateur peut utiliser jusqu'à 8 GPUs sur tous les points de terminaison.
• Configuration de la mise à l'échelle automatique :
  • Répliques minimales : Régler 0 pour permettre au point de terminaison de dormir lorsqu'il est inactif (économie de coûts), ou une valeur plus élevée pour toujours conserver un nombre minimum de répliques actives.
  • Nombre maximal de répliques : Définissez le nombre maximal de répliques pour la mise à l'échelle (jusqu'à 10).
  • Période de refroidissement : Définissez le délai (en secondes) avant de réduire la taille des répliques pour éviter une réduction prématurée lors de brèves baisses de trafic.
• Configuration du moteur :
  • Type de moteur: Choisissez le moteur d'inférence (vLLM or SGLang).
  • Version du moteur : Utilisez la version par défaut (la plus récente) ou spécifiez une version.
  • Contexte Longueur: Définissez éventuellement la longueur maximale du contexte du jeton ; si elle est omise, elle sera dérivée de la configuration du modèle.
  • Nombre maximal de demandes en cours d'exécution : Définissez le nombre maximal de séquences traitées par itération.
  • Arguments supplémentaires : Ajoutez des paramètres de moteur supplémentaires pour une personnalisation avancée.

Lorsque vous avez terminé, cliquez Créer pour déployer votre point de terminaison.

4. État du déploiement du point de terminaison

Après sa création, votre point de terminaison passera par plusieurs statuts :

• En train de dormir: Le point de terminaison est inactif et ne consomme aucune ressource de calcul (si le nombre minimum de réplicas est défini sur 0).
• En attendant: Le déploiement est en cours d'initialisation.
• Roulant: Le modèle et l’infrastructure sont en cours de mise en place.
• Exécution: Le point de terminaison est actif et prêt à répondre aux requêtes.

Vous pouvez surveiller cet état sur la page Points de terminaison de la console.

5. Testez votre point de terminaison dans Playground

• Une fois le déploiement terminé et le statut FonctionnementCliquez sur votre point de terminaison et ouvrez le cour de récréation languette.
• Dans le Playground, vous pouvez :
  • Envoyez des invites de test à votre modèle de base et à tous les adaptateurs LoRA connectés.
  • Comparez instantanément la sortie de différents adaptateurs par rapport au modèle de base.

6. Prochaines étapes

• Points de terminaison multi-LoRA : Déployez plusieurs adaptateurs LoRA sur un seul point de terminaison pour une commutation de modèle flexible.
• Intégration API: Utilisez les points de terminaison API fournis pour envoyer des requêtes et intégrer votre modèle dans vos propres applications.
• Optimiser et mettre à l'échelle : Ajustez la mise à l'échelle automatique, la configuration du moteur et GPU quota au fur et à mesure que vos besoins augmentent.
• Besoin de plus de ressources ? Contactez notre équipe de vente pour une solution d'entreprise si vous avez besoin de plus de 8 GPUs ou nécessitent des fonctionnalités de niveau entreprise.

Exemples de code (pour les utilisateurs de Python)

depuis openai importer OpenAI client = OpenAI( base_url="https://api.novita.ai/dédié/v1/openai", api_key=" ", ) model = "deepseek-ai/DeepSeek-R1-0528-" stream = True # ou False max_tokens = 512 chat_completion_res = client.chat.completions.create( model=model, messages=[ { "role": "system", "content": "vous êtes un assistant IA professionnel.", }, { "role": "user", "content": "Où peut se trouver l'exemple de GPU fourni par novita ai être adapté ?", } ], stream=stream, max_tokens=max_tokens, ) si stream : pour chunk dans chat_completion_res : print(chunk.choices[0].delta.content ou "", end="") else : print(chat_completion_res.choices[0].message.content)

Conclusion

Novita AIDe neuf LLM Un point de terminaison dédié vous permet de déployer et de faire évoluer vos modèles Hugging Face personnalisés en toute confiance. Profitez d'une intégration flexible des adaptateurs LoRA, d'une mise à l'échelle automatique simple, d'une tarification transparente et compétitive et de l'assurance d'un contrat de niveau de service (SLA) de 99.5 %. Que vous lanciez votre premier modèle optimisé ou que vous gériez des charges de travail de production, Novita AI permet de passer facilement du prototype à la production, de manière rapide, sécurisée et efficace.

Prêt à vivre une expérience sans couture LLM déploiement? S'inscrire maintenant or contacter notre équipe de vente pour une démonstration d'entreprise et un plan sur mesure.

Questions fréquemment posées

Novita AI est une plateforme cloud d'IA qui offre aux développeurs un moyen simple de déployer des modèles d'IA à l'aide de notre API simple, tout en fournissant une solution abordable et fiable GPU Cloud pour la construction et la mise à l'échelle.