gptel mit Novita AI nutzen: Eine umfassende Anleitung

In der sich schnell entwickelnden Welt der KI-Entwicklung wird die Integration leistungsstarker Sprachmodelle in vertraute Entwicklungsumgebungen immer wichtiger. Dieser Artikel zeigt Entwicklern, wie sie die Novita AI API in gptel, einem Emacs-basierten LLM-Client, nutzen können. Durch die Kombination der fortschrittlichen Modelle von Novita AI mit der nahtlosen Emacs-Integration von gptel können Entwickler ihre KI-gestützten Workflows erheblich verbessern, ohne ihren bevorzugten Texteditor verlassen zu müssen.

Was ist gptel?

gptel ist ein vielseitiger LLM-Chat-Client, der speziell für Emacs-Benutzer entwickelt wurde. Er unterstützt mehrere Modelle und Backends und funktioniert nahtlos in jedem Emacs-Puffer. Mit seiner einheitlichen Oberfläche und der direkten Nutzung im Puffer verkörpert gptel die Emacs-Philosophie der Erweiterbarkeit und Zugänglichkeit. Intern nutzt gptel, falls verfügbar, Curl für robuste HTTP-Fähigkeiten, unterstützt aber auch url-retrieve für Umgebungen ohne externe Abhängigkeiten. Diese doppelte Kompatibilität ermöglicht die Einrichtung von gptel in einer Vielzahl von Emacs-Konfigurationen.

Funktionen von gptel

https://www.youtube.com/watch?v=bsRnh\_brggM

gptel ist vollgepackt mit Funktionen, die die Produktivität maximieren sollen:

• Asynchrone und schnelle Operationen: Streamt Antworten direkt in Emacs.
• Multi-LLM-Unterstützung: Wählen Sie aus verschiedenen Modellen wie Mythomax, Llama und Qwen.
• Anpassbare Workflows: Ändern Sie die Operationen von gptel über eine einfache API.
• Kontextbewusste Interaktionen: Fügen Sie dynamisch Regionen, Puffer oder Dateien zu Abfragen hinzu.
• Markdown/Org-Markup-Unterstützung: Formatieren Sie LLM-Antworten effektiv.
• Multi-Modale-Unterstützung: Arbeiten Sie mit Text, Bildern und Dokumenten.
• Gesprächsverwaltung: Speichern, fortsetzen und verzweigen Sie Gespräche nach Bedarf.
• Interaktive Abfrage-Anpassungen: Vorschau und Änderung von Prompts vor dem Senden.
• Introspektionsfähigkeiten: Überprüfen und ändern Sie Abfragen vor dem Senden, um Genauigkeit und Relevanz sicherzustellen.
• Bearbeitbare Gespräche: Gehen Sie zurück und bearbeiten Sie frühere Prompts oder LLM-Antworten während eines Gesprächs. Diese Änderungen werden an das Modell zurückgegeben und ermöglichen dynamische Anpassungen.

Wie man gptel herunterlädt

Die Installation von gptel ist unkompliziert:

1. Mit dem Emacs-Paketmanager:
   • Führen Sie M-x package-install RET gptel RET aus.
   • Fügen Sie für eine stabile Version MELPA-stable zu Ihren Paketquellen hinzu.
2. Straight:
   • Fügen Sie (straight-use-package 'gptel) zu Ihrer Konfiguration hinzu.

(Optional) Installieren Sie markdown-mode für bessere Formatierung und verbesserte Chat-Interaktionen.

3. Manuelle Installation:
   • Klonen Sie das Repository von GitHub.
   • Führen Sie M-x package-install-file RET auf dem Repository-Verzeichnis aus.
4. Mit Doom Emacs:

   • In packages.el
     (package! gptel)

   • In config.el
     (use-package! gptel :config (setq! gptel-api-key “Ihr Schlüssel”))

     „Ihr Schlüssel“ kann der API-Key selbst oder (sicherer) eine Funktion sein, die den Key zurückgibt. Das Setzen von gptel-api-key ist optional; Sie werden nach einem Key gefragt, falls keiner gefunden wird.

5. Mit Spacemacs:
   • Fügen Sie in Ihrer .spacemacs-Datei llm-client zu dotspacemacs-configuration-layers hinzu.
     (llm-client :variables llm-client-enable-gptel t)

Zugriff auf die Novita AI API in gptel

Die Integration der Novita AI API mit gptel erschließt erweiterte LLM-Funktionen:

1. Testen Sie verschiedene LLMs im LLM Playground von Novita AI kostenlos.
2. Navigieren Sie zur Schlüsselverwaltung von Novita AI, um den LLM-API-Key für die Verwendung mit gptel abzurufen.
3. Registrieren Sie Novita AI als Backend:

(gptel-make-openai "NovitaAI"
  :host "api.novita.ai"
  :endpoint "/v3/openai"
  :key "your-api-key"
  :stream t
  :models '(
    gryphe/mythomax-l2-13b
    meta-llama/llama-3-70b-instruct
    meta-llama/llama-3.1-70b-instruct))

4. Ersetzen Sie "your-api-key" durch Ihren Novita AI API-Key.
5. Setzen Sie Novita AI als Standard-Backend:

(setq
  gptel-model   'gryphe/mythomax-l2-13b
  gptel-backend
  (gptel-make-openai "NovitaAI"
    :host "api.novita.ai"
    :endpoint "/v3/openai"
    :key "your-api-key"
    :stream t
    :models '(
      mistralai/Mixtral-8x7B-Instruct-v0.1
      meta-llama/llama-3-70b-instruct
      meta-llama/llama-3.1-70b-instruct)))

Wie man gptel verwendet

Die Befehle von gptel sind flexibel und intuitiv:

• Allgemeine Abfragen: Verwenden Sie M-x gptel-send, um den Text bis zum Cursor zu senden. Die Antwort wird darunter eingefügt, und Sie können das Gespräch nahtlos fortsetzen.
• Dedizierte Chat-Puffer:
  • Starten Sie eine neue Sitzung oder wechseln Sie zu einer bestehenden mit M-x gptel.
  • Verwenden Sie C-c RET, um Prompts interaktiv zu senden.
  • Speichern und laden Sie Ihre Chat-Sitzungen mühelos, um konsistente Workflows zu ermöglichen.
• Verhalten dynamisch ändern: Führen Sie C-u M-x gptel-send aus, um Chat-Parameter wie den LLM-Anbieter, das Backend oder die Systemnachricht für bestimmte Aufgaben anzupassen.
• Erweiterte Org-Modus-Funktionen:
  • Verzweigen Sie Gespräche mithilfe von Org-Überschriften für strukturierte Interaktionen.
  • Verwenden Sie gptel-org-set-properties, um Chat-Einstellungen unter bestimmten Überschriften zu deklarieren und reproduzierbare LLM-Notizbücher zu erstellen.
• Multi-Modale-Unterstützung:
  • Fügen Sie Text-, Bild- oder Dokumentdateien mit gptel-add-file oder über das Transient-Menü zum Gesprächskontext hinzu. Dies ermöglicht umfangreichere, kontextbewusste Abfragen.
  • Verwalten Sie den Kontext dynamisch, indem Sie nach Bedarf Regionen, Puffer oder Dateien ein- oder ausschließen.

Fazit

Durch die Kombination von gptel mit der Novita AI API erhalten Entwickler Zugriff auf leistungsstarke, flexible Werkzeuge für die KI-Entwicklung. Ob Sie Workflows verfeinern oder neue Modellfähigkeiten erkunden – gptel und die Novita AI API machen den Prozess nahtlos und effizient. Bereit loszulegen? Entdecken Sie noch heute den LLM Playground!

Häufig gestellte Fragen

Kann ich gptel für nicht standardmäßige Workflows verwenden?

Ja, gptel stellt die Funktion gptel-request zur Verfügung, die benutzerdefinierte Workflows über gptel-send hinaus ermöglicht.

Wie aktiviere ich automatisches Scrollen?

Fügen Sie dies zu Ihrer Konfiguration hinzu:
(add-hook 'gptel-post-stream-hook 'gptel-auto-scroll)

Wie kann ich die Prompt-/Antwortformatierung ändern?

Passen Sie gptel-prompt-prefix-alist und gptel-response-prefix-alist für bestimmte Modi an.

Unterstützt gptel Medien?

Ja, gptel unterstützt multimodale Modelle für die Verarbeitung von Text, Bildern und Dokumenten.

Wie kann ich Chat-Puffer-spezifische Optionen konfigurieren?

Sie können Chat-Parameter wie Modell, Backend und Anweisungen pro Puffer über das Transient-Menü festlegen. Rufen Sie C-u M-x gptel-send auf, um auf diese Einstellungen interaktiv zuzugreifen.

Was ist das Transient-Menü und wie kann ich es effektiv nutzen?

Das Transient-Menü ermöglicht es Ihnen, das Verhalten von gptel dynamisch anzupassen, einschließlich Kontext, Ein-/Ausgabeumleitung und Abfragepräferenzen. Greifen Sie darauf zu, indem Sie C-u gptel-send oder gptel-menu aufrufen. Für fortgeschrittene Nutzung konsultieren Sie das GitHub-Repository für Beispiele und Dokumentation. Kann ich gptel für nicht standardmäßige Workflows verwenden? Ja, gptel stellt die Funktion gptel-request zur Verfügung, die benutzerdefinierte Workflows über gptel-send hinaus ermöglicht.

Wie aktiviere ich automatisches Scrollen?

Fügen Sie dies zu Ihrer Konfiguration hinzu:
(add-hook 'gptel-post-stream-hook 'gptel-auto-scroll)

Wie kann ich die Prompt-/Antwortformatierung ändern?

Passen Sie gptel-prompt-prefix-alist und gptel-response-prefix-alist für bestimmte Modi an.

Unterstützt gptel Medien?

Ja, gptel unterstützt multimodale Modelle für die Verarbeitung von Text, Bildern und Dokumenten.

Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig die kostengünstige und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.