Utiliser gptel avec Novita AI : Guide complet

Dans le paysage en évolution rapide du développement de l’IA, l’intégration de modèles de langage puissants dans des environnements de développement familiers est devenue cruciale. Cet article explore comment les développeurs peuvent exploiter l’API Novita AI dans gptel, un client LLM basé sur Emacs. En combinant les modèles avancés de Novita AI avec l’intégration transparente de gptel dans Emacs, les développeurs peuvent considérablement améliorer leurs flux de travail basés sur l’IA sans quitter leur éditeur de texte préféré.

Qu’est-ce que gptel ?

gptel est un client LLM de discussion polyvalent conçu pour les utilisateurs d’Emacs. Il prend en charge plusieurs modèles et backends, fonctionnant de manière transparente dans n’importe quel tampon Emacs. Avec son interface uniforme et son utilisation sur place, gptel incarne la philosophie d’extensibilité et d’accessibilité d’Emacs. Sous le capot, gptel repose sur Curl si disponible, offrant des capacités HTTP robustes, mais prend également en charge url-retrieve pour les environnements sans dépendances externes. Cette double compatibilité garantit que gptel peut être installé dans une large gamme de configurations Emacs.

Fonctionnalités de gptel

https://www.youtube.com/watch?v=bsRnh\_brggM

gptel regorge de fonctionnalités conçues pour maximiser la productivité :

• Opérations asynchrones et rapides : diffuse les réponses directement dans Emacs.
• Support multi-LLM : choisissez parmi divers modèles tels que Mythomax, Llama et Qwen.
• Flux de travail personnalisables : modifiez les opérations de gptel à l’aide d’une API simple.
• Interactions contextuelles : ajoutez des régions, des tampons ou des fichiers de manière dynamique aux requêtes.
• Support du balisage Markdown/Org : formatez efficacement les réponses LLM.
• Support multimodal : travaillez avec du texte, des images et des documents.
• Gestion des conversations : sauvegardez, reprenez et bifurquez les conversations selon vos besoins.
• Ajustements interactifs des requêtes : prévisualisez et modifiez les invites avant de les envoyer.
• Capacités d’introspection : inspectez et modifiez les requêtes avant de les envoyer pour garantir leur exactitude et leur pertinence.
• Conversations modifiables : revenez en arrière et modifiez les invites précédentes ou les réponses LLM pendant une conversation. Ces modifications sont renvoyées au modèle, permettant des ajustements dynamiques.

Comment télécharger gptel

Installer gptel est simple :

1. Via le gestionnaire de paquets Emacs :
   • Exécutez M-x package-install RET gptel RET.
   • Pour une version stable, ajoutez MELPA-stable à vos sources de paquets.
2. Straight :
   • Ajoutez (straight-use-package 'gptel) à votre configuration.

(Facultatif) Installez markdown-mode pour un meilleur formatage et des interactions de chat améliorées.

3. Installation manuelle :
   • Clonez le dépôt depuis GitHub.
   • Exécutez M-x package-install-file RET sur le répertoire du dépôt.
4. Avec Doom Emacs :

   • Dans packages.el
     (package! gptel)

   • Dans config.el
     (use-package! gptel :config (setq! gptel-api-key “votre clé”))

     « votre clé » peut être la clé API elle-même, ou (plus sûr) une fonction qui renvoie la clé. La définition de gptel-api-key est facultative ; une clé vous sera demandée si elle n’est pas trouvée.

5. Avec Spacemacs :
   • Dans votre fichier .spacemacs, ajoutez llm-client à dotspacemacs-configuration-layers.
     (llm-client :variables llm-client-enable-gptel t)

Accéder à l’API Novita AI sur gptel

L’intégration de l’API Novita AI avec gptel débloque des capacités LLM avancées :

1. Testez divers LLM dans le LLM Playground de Novita AI gratuitement.
2. Accédez à la page de gestion des clés de Novita AI pour récupérer la clé API LLM à utiliser avec gptel.
3. Enregistrez Novita AI comme backend :

(gptel-make-openai "NovitaAI"
  :host "api.novita.ai"
  :endpoint "/v3/openai"
  :key "votre-clé-api"
  :stream t
  :models '(
    gryphe/mythomax-l2-13b
    meta-llama/llama-3-70b-instruct
    meta-llama/llama-3.1-70b-instruct))

4. Remplacez "votre-clé-api" par votre clé API Novita AI.
5. Définissez Novita AI comme backend par défaut :

(setq
  gptel-model   'gryphe/mythomax-l2-13b
  gptel-backend
  (gptel-make-openai "NovitaAI"
    :host "api.novita.ai"
    :endpoint "/v3/openai"
    :key "votre-clé-api"
    :stream t
    :models '(
      mistralai/Mixtral-8x7B-Instruct-v0.1
      meta-llama/llama-3-70b-instruct
      meta-llama/llama-3.1-70b-instruct)))

Comment utiliser gptel

Les commandes de gptel sont flexibles et intuitives :

• Requêtes générales : utilisez M-x gptel-send pour envoyer le texte jusqu’au curseur. La réponse sera insérée en dessous et vous pouvez poursuivre la conversation de manière transparente.
• Tampons de discussion dédiés :
  • Démarrez une nouvelle session ou basculez vers une session existante avec M-x gptel.
  • Utilisez C-c RET pour envoyer des invites de manière interactive.
  • Sauvegardez et restaurez vos sessions de chat sans effort, permettant des flux de travail cohérents.
• Modifier le comportement dynamiquement : exécutez C-u M-x gptel-send pour ajuster les paramètres de chat tels que le fournisseur LLM, le backend ou le message système pour des tâches spécifiques.
• Fonctionnalités Org mode améliorées :
  • Bifurquez des conversations à l’aide des titres Org pour des interactions structurées.
  • Utilisez gptel-org-set-properties pour déclarer les paramètres de chat sous des titres spécifiques, créant ainsi des cahiers LLM reproductibles.
• Support multimodal :
  • Ajoutez des fichiers texte, image ou document au contexte de la conversation avec gptel-add-file ou via le menu transient. Cela permet des requêtes plus riches et contextuelles.
  • Gérez le contexte dynamiquement en incluant ou supprimant des régions, des tampons ou des fichiers selon vos besoins.

Conclusion

En combinant gptel avec l’API Novita AI, les développeurs accèdent à des outils puissants et flexibles pour le développement de l’IA. Que vous affiniez des flux de travail ou exploriez de nouvelles capacités de modèles, gptel et l’API Novita AI rendent le processus fluide et efficace. Prêt à commencer ? Explorez le LLM Playground dès aujourd’hui !

Questions fréquentes

Puis-je utiliser gptel pour des flux de travail non standard ?

Oui, gptel fournit la fonction gptel-request, permettant des flux de travail personnalisés au-delà de gptel-send.

Comment activer le défilement automatique ?

Ajoutez ceci à votre configuration :
(add-hook 'gptel-post-stream-hook 'gptel-auto-scroll)

Comment modifier le formatage des invites/réponses ?

Personnalisez gptel-prompt-prefix-alist et gptel-response-prefix-alist pour des modes spécifiques.

gptel prend-il en charge les médias ?

Oui, gptel prend en charge les modèles multimodaux pour le texte, les images et les documents.

Comment configurer des options spécifiques à un tampon de chat ?

Vous pouvez définir des paramètres de chat comme le modèle, le backend et les directives par tampon à l’aide du menu transient. Appelez C-u M-x gptel-send pour accéder à ces paramètres de manière interactive.

Qu’est-ce que le menu transient et comment l’utiliser efficacement ?

Le menu transient permet d’ajuster dynamiquement le comportement de gptel, y compris le contexte, la redirection d’entrée/sortie et les préférences de requête. Accédez-y en appelant C-u gptel-send ou gptel-menu. Pour une utilisation avancée, consultez le dépôt GitHub pour des exemples et de la documentation. Puis-je utiliser gptel pour des flux de travail non standard ? Oui, gptel fournit la fonction gptel-request, permettant des flux de travail personnalisés au-delà de gptel-send.

Comment activer le défilement automatique ?

Ajoutez ceci à votre configuration :
(add-hook 'gptel-post-stream-hook 'gptel-auto-scroll)

Comment modifier le formatage des invites/réponses ?

Personnalisez gptel-prompt-prefix-alist et gptel-response-prefix-alist pour des modes spécifiques.

gptel prend-il en charge les médias ?

Oui, gptel prend en charge les modèles multimodaux pour le texte, les images et les documents.

Novita AI est une plateforme cloud d’IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API, tout en fournissant un GPU cloud abordable et fiable pour construire et passer à l’échelle.