Einführung
Wir freuen uns, die Unterstützung von Novita AI für AnythingLLM ankündigen zu können – eine leistungsstarke All-in-One-Desktop-Plattform, die die Art und Weise, wie Sie mit großen Sprachmodellen interagieren, revolutioniert. Diese Integration bringt die erweiterten Sprachmodellfähigkeiten von Novita direkt auf Ihren Desktop und bietet einen zentralen Hub für all Ihre Sprachverarbeitungsanforderungen.
Eine herausragende Funktion von AnythingLLM ist die robuste PDF-Verarbeitung, mit der Benutzer PDFs direkt in der Plattform hochladen und analysieren können. Dies ermöglicht eine schnelle Zusammenfassung, Informationsextraktion und Analyse selbst komplexester PDF-Dateien.
Durch die Nutzung von Novita AI mit AnythingLLM können Sie PDFs sofort in umsetzbare Erkenntnisse verwandeln, Zeit sparen und die Produktivität steigern – und das alles über eine einzige, benutzerfreundliche Desktop-Oberfläche.
Was ist AnythingLLM?
AnythingLLM ist eine Full-Stack-Anwendung, die Ihnen die Flexibilität bietet, sowohl kommerzielle LLMs als auch beliebte Open-Source-LLMs zusammen mit Vektordatenbanklösungen zu verwenden. Sie können diese Anwendung lokal ausführen oder remote hosten und erhalten so eine sichere, private Umgebung, um intelligent mit Ihren Dokumenten zu interagieren. Durch die Integration dieser Ressourcen ermöglicht AnythingLLM den Aufbau einer hochfunktionalen KI-gestützten Chat-Oberfläche, die komplexe Sprachaufgaben bewältigt, ohne Kompromisse bei Datenschutz oder Kontrolle einzugehen.
Hauptfunktionen
- Thread-ähnliche Workspace-Struktur: Workspaces fungieren als Threads und organisieren zusammengehörige Dokumente in einem abgeschlossenen Bereich. Jeder Workspace isoliert Dokumente von anderen und bewahrt so einen eindeutigen Kontext für jedes Projekt oder Thema.
- Flexibilität für Privatpersonen und Unternehmen: Installieren Sie AnythingLLM und das gesamte Werkzeugpaket als einzelne Anwendung auf Ihrem privaten Desktop. Für Organisationen sind außerdem detaillierte Berechtigungen und Zugriffskontrollen integriert.
- Sicherheit: AnythingLLM kommuniziert nur mit den von Ihnen verbundenen Diensten und kann vollständig auf Ihrem Rechner ohne Internetverbindung ausgeführt werden.
Warum sollten Sie AnythingLLM nutzen?
- Multi-Modell-Kompatibilität: AnythingLLM unterstützt sowohl kommerzielle LLMs wie GPT-4o als auch beliebte Open-Source-Modelle wie Llama 3.1 8b (Novita AI hilft Ihnen dabei) und ermöglicht es Benutzern, Modelle basierend auf Budget, Anpassungsbedarf und Datenschutzbedenken auszuwählen.
- Lokale und Remote-Hosting-Optionen: Es kann vollständig offline auf einem lokalen Rechner ausgeführt oder remote gehostet werden, was Flexibilität bietet, um die Datensicherheit zu wahren und gleichzeitig Fernzugriff für Teamprojekte zu ermöglichen.
- Workspace-Verwaltung: Wie oben erwähnt, fungieren „Workspaces“ wie isolierte Threads, die jeweils zusammengehörige Dokumente separat organisieren. Dies hält Informationen abgeschottet und ermöglicht fokussierte Diskussionen zu bestimmten Projekten oder Themen ohne Überschneidungen.
- Erweiterte Dokumentenverarbeitung (einschließlich PDFs): Die Plattform kann PDFs importieren und analysieren, sodass Benutzer Dokumentinhalte direkt extrahieren, zusammenfassen und damit interagieren können – effizient für forschungsintensive Arbeitsabläufe.
Ein Beispiel: Ein privater KI-Dokumenten-Chatbot kann einfach bereitgestellt werden:
Starten Sie in 10 Minuten einen privaten KI-Dokumenten-Chatbot! | Open Source
So verwenden Sie die Novita AI LLM API mit AnythingLLM
Was ist Novita AI?
API, Serverless und GPU-Instanz in einer einzigen KI-Cloud. Novita AI bietet kosteneffektive, nahtlos integrierte Lösungen zur Beschleunigung Ihres KI-Geschäfts.
Novita AI LLM API bietet Entwicklern eine äußerst kostengünstige Lösung mit einigen der niedrigsten Preise weltweit. Sie stellt trendige Modelle wie llama-3-70b und llama-3.1-8b-instruct für schnelle Produktionsaufgaben, anregende Diskussionen und kreative Projekte bereit. Die Plattform bietet außerdem unzensierte Chat-Funktionen mit beliebten Modellen wie microsoft/wizardlm-2-8x22b und gryphe/mythomax-l2-13b.
Die Integration mit AnythingLLM erfolgt nahtlos durch Kompatibilität mit dem OpenAI-API-Standard. Die API kann automatisch skalieren, um Änderungen der Nutzungsnachfrage zu bewältigen. Novita AI legt Wert auf Zuverlässigkeit mit schnellen Netzwerkgeschwindigkeiten und die Vertraulichkeit der Daten, indem keine Prompt-Daten für das Modelltraining gespeichert werden. Benutzer profitieren außerdem von einer starken Community-Unterstützung über eine aktive Discord-Gruppe, die die Zusammenarbeit und Hilfe unter den Benutzern fördert.
Schritt 1: Gehen Sie zu Novita.ai und melden Sie sich an
Sie können sich bei Novita AI mit Google oder GitHub anmelden, wodurch bei der ersten Anmeldung ein neues Konto erstellt wird. Alternativ können Sie sich mit Ihrer E-Mail-Adresse registrieren.
Schritt 2: Verwalten des Novita AI LLM API-Schlüssels
Novita AI sichert den API-Zugriff über die Bearer-Authentifizierung, indem ein API-Schlüssel in den Anfrage-Header eingefügt wird, z. B. „Authorization: Bearer {API-Schlüssel}“.
Navigieren Sie zur Verwaltung Ihrer Schlüssel zu „Key Management“ in den Einstellungen. Bei der ersten Anmeldung wird automatisch ein Standardschlüssel generiert. Sie können zusätzliche Schlüssel erstellen, indem Sie auf „+ Add New Key“ klicken.
Schritt 3: Laden Sie die Desktop-Version von AnythingLLM herunter
Gehen Sie zu AnythingLLM und laden Sie die neueste Version für Ihren Computer herunter.
Schritt 4: Wählen Sie Novita AI als LLM-Anbieter und geben Sie den Novita-API-Schlüssel ein
Wählen Sie Novita AI aus der LLM-Anbieterliste in den AnythingLLM-Einstellungen. Geben Sie dann Ihren Novita AI LLM API-Schlüssel ein und legen Sie das gewünschte Modell fest.
Wie installiere ich AnythingLLM lokal unter Linux?
Für Linux-Benutzer: Installieren Sie AnythingLLM mit folgendem Befehl im Terminal:
curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
Dies lädt die neueste Version des AnythingLLM-AppImage herunter, entpackt es und erstellt einen symbolischen Link, um AnythingLLM nahtlos auszuführen. Das Skript entpackt die App in $HOME/AnythingLLMDesktop.
Sie können die App jederzeit starten, indem Sie ./AnythingLLMDesktop/start ausführen. Dadurch wird die App mit vollständiger Protokollierung gestartet.
Häufig gestellte Fragen
Wo werden Dokumente in AnythingLLM gespeichert?
Bei der Verwendung von AnythingLLM werden alle Dokumente und Daten sicher auf dem Gerät gespeichert, auf dem AnythingLLM ausgeführt wird – sei es ein lokaler Rechner oder die AnythingLLM Cloud.
Warum AnythingLLM anstelle eines LLM AI mit einem PDF-Plugin verwenden?
AnythingLLM gewährt vollständige Kontrolle über Zugriff, Berechtigungen und Datenfreigabe für jedes LLM und jede Vektordatenbank und gewährleistet so Flexibilität und Sicherheit. Es kann vollständig offline laufen und sich ausschließlich auf lokale Dienste stützen, sodass die Privatsphäre ohne Exposition gegenüber Dritten gewahrt bleibt.
Wie verwende ich Embedding-Modelle, die von Hugging Face heruntergeladen wurden?
Wenn Sie ein Modell heruntergeladen haben, wahrscheinlich im GGUF-Format, benötigen Sie einen LLM-Anbieter, um es effektiv auszuführen. LocalAI und LMStudio bieten beide Umgebungen, in denen Sie Modelle einfach installieren und ausführen können. Wir empfehlen Ihnen außerdem, Novita AI auszuprobieren, das ebenfalls Modelle für verschiedene Szenarien bereitstellt.
Wie verwende ich dockerisiertes AnythingLLM?
Informationen zur lokalen Speicherung und zum Ausführen von AnythingLLM in Docker unter Windows, MacOS, Linux oder Docker Compose finden Sie auf dieser Seite.
Fazit
Mit der Unterstützung von Novita AI für AnythingLLM erhalten Benutzer ein leistungsstarkes, vielseitiges Werkzeug, das die fortschrittlichen Sprachmodelle von Novita mit der robusten Dokumentenverwaltung und den sicheren Workspace-Funktionen von AnythingLLM kombiniert. Diese Integration ermöglicht es Benutzern, PDFs effizient zu analysieren, verschiedene Daten zu verarbeiten und komplexe, organisierte Interaktionen durchzuführen – alles in einer datenschutzorientierten Umgebung, die sowohl lokale als auch Cloud-Nutzung unterstützt. Ob für Forschung, Content-Erstellung oder Datenanalyse – Novita AI und AnythingLLM bieten gemeinsam eine umfassende Lösung, die auf die professionellen KI- und Dokumentenverarbeitungsanforderungen zugeschnitten ist.
Ursprünglich veröffentlicht auf Novita AI
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Erstellen und Skalieren bereitstellt.
Empfohlene Lektüre
