Wichtige Highlights
- Einführung von Mixtral: Mixtral ist jetzt das beliebteste kostenlose Open-Source-Sprachmodell.
- Probleme beim Ausführen von LLM mit RTX4080: Unzureichender Grafikspeicher, langsame TTFT und hohe Kosten.
- Behebung dieser Probleme: Verbesserung der Leistung von Mixtral, Verwendung mehrerer Grafikkarten oder Nutzung von erweitertem Speicher.
- Vorteile der Nutzung von GPU-Instanzen: Höhere Skalierbarkeit, geringere Kosten, Pay-as-you-go und niedrigere Wartungskosten.
- Verwandte Tutorials: Ein Tutorial zum lokalen Ausführen von Mixtral und ein Tutorial zur Nutzung von GPU-Instanzen.
Einleitung
Dieser Blogbeitrag untersucht, wie die Mixtral-Produktfamilie auf RTX 4080 GPUs, einer Art Consumer-Hardware wie Laptops, besser ausgeführt werden kann. Wir sprechen über die Verwaltung des Speichers und die Einrichtung von GPUs, um ihre Ressourcen effizient zu nutzen, einschließlich der Verwendung von mindestens zwei GPUs mit jeweils 16 GB VRAM für optimale Leistung. Wir vergleichen auch das Ausführen von LLM-Modellen auf Ihrem Computer mit der Nutzung von GPU-Instanzen, die möglicherweise eine bessere Leistung bieten, indem sie VRAM als Hochgeschwindigkeitspuffer für effizientes Laden verwenden und Leistungsprobleme verhindern.
Die Leistungsfähigkeit des Mixtral Open-Source-Modells freischalten
Bevor das Potenzial von Mixtral freigesetzt wird, müssen die Benutzer zunächst wissen, was Mixtral ist. Außerdem hilft das Verständnis der verschiedenen Versionen von Mixtral den Benutzern, die richtige Hardware je nach LLM-Version auszuwählen.
Was ist das Mixtral-Modell?
Mixtral ist ein kostenloses und quelloffenes großes Sprachmodell, das von Mistral.ai entwickelt wurde. In der Imsys-Liste von 2023 wurde Mixtral 8x7b von Benutzern zu einem der am höchsten bewerteten LLM-Open-Source-Modelle gewählt.
LLM-Ranking
Es verwendet eine Methode namens Expert Sparse Blending (MoE), auch bekannt als sparse mixture of experts. Dies unterscheidet sich von regulären LLMs, da nicht alle Teile von Mixtral gleichzeitig verwendet werden. Stattdessen werden je nach Aufgabe nur wenige „Expert“-Bereiche aktiviert.
Wie viele Versionen von Mistral gibt es?
Bis 2024 hat Mistral.ai vier kostenlose und quelloffene LLM-Modelle veröffentlicht:
- Mistral 7B
- Mixtral 8x7B
- Mixtral 8x22B
Mit der Entwicklung der Mixtral-Produktreihe wurden die logischen Fähigkeiten, die Mehrsprachigkeit und die mathematischen Codierungsfähigkeiten dieser Produktreihe erheblich verbessert. Allerdings erfordern diese Verbesserungen auch, dass die Benutzer mehr Speicher und bessere Leistung nutzen. Zum Beispiel erfordert das Ausführen von Mixtral 8x22b auf einem PC eine GPU mit etwa 300 GB Speicher, damit dieses LLM-Modell reibungslos läuft.
Mixtral auf 4080 ausführen
Jetzt entscheiden sich einige Benutzer für die Verwendung von RTX4080, um Mixtral auszuführen. Zum Beispiel hat Slaghton erfolgreich Mixtral 8x7b mit zwei RTX4080 ausgeführt. Aufgrund der Speicherbegrenzungen der lokalen GPU kann dieses LLM jedoch nur mit minimaler Produktivität laufen. In diesem Fall kann das LLM nur etwa 7–8 Token pro Sekunde generieren.
Wie führt man Mixtral 8x7b mit lokalen GPUs aus?
Video-Tutorial: Installiere Mixtral 8x7B lokal auf Windows auf einem Laptop
Schritt 1: Du benötigst genügend Speicherplatz auf dem Computer, also beginne damit, deinen Computer zu bereinigen!
Schritt 2: Installiere die notwendigen Python-Bibliotheken und Tools, wie TensorFlow, PyTorch usw. Diese Bibliotheken und Tools können über pip oder conda installiert werden.
Schritt 3: Lade die Modell-Datei von Mixtral 8x7B von der offiziellen Seite herunter. Die Modell-Datei wird normalerweise als komprimiertes Paket bereitgestellt, das die Gewichte und Konfigurationsdateien des Modells enthält.
Schritt 4: Entpacke die heruntergeladene Modell-Datei in das angegebene Verzeichnis.
Schritt 5: Setze gemäß der Konfigurationsdatei des Modells die notwendigen Umgebungsvariablen, wie Modellpfad, Gerätetyp (CPU/GPU) usw.
Was passiert, wenn man Mixtral mit lokaler RTX4080 ausführt?
Benutzer, die versuchen, LLM mit einer Consumer-Grafikkarte auszuführen, können auf folgende Probleme stoßen:
- Unzureichender Grafikspeicher: Die RXT4080 hat maximal 16 GB Grafikspeicher, aber für einen reibungslosen Betrieb von Mixtral werden etwa 200–300 GB benötigt.
- Langsame TTFT: Basierend auf Erfahrungen mehrerer Reddit-Benutzer, die Mistral 7b und Mixtral 8x7b mit 4060, 4080 und 4090 ausgeführt haben. Mit einer Consumer-Grafikkarte kann die TTFT-Geschwindigkeit des LLM-Modells nur 1 t/s – 8 t/s erreichen.
- Hohe Kosten: Diese Benutzer verwenden oft mehrere Grafikkarten oder externen Speicher, um Mixtral auszuführen. Laut dem auf Amazon angegebenen Preis kostet eine RTX4080-Grafikkarte 999 $.
Wie verbessert man die Leistung von 4080 bei der Ausführung von Mixtral?
- Die Feineinstellung der LLM-Einstellungen ist sehr wichtig, um die beste Leistung auf dem 16-GB-GPU-Speicher der RTX 4080 zu erzielen. Eine wichtige Einstellung ist die „Batch-Größe“. Diese Einstellung definiert, wie viele Eingabeproben gleichzeitig verarbeitet werden. Wenn Sie die Batch-Größe verringern, kann dies den VRAM-Verbrauch reduzieren.
- Es ist auch eine gute Idee, den Speicher der 4080-Grafikkarte mit erweitertem Speicher zu erweitern.
- Verwenden Sie mehrere Grafikkarten.
Zukunftstrends bei der Ausführung von Mixtral
Mit der Entwicklung von LLM steigen die Rechenleistung und der Grafikspeicher, die für die Ausführung von LLM erforderlich sind. Die Möglichkeit für eine Einzelperson, LLM mit einer Consumer-Grafikkarte auszuführen, wird immer geringer. Eine neue Methode zur Ausführung von LLM wird bei LLM-Einzelpersonen und -Unternehmen immer beliebter: die Verwendung von GPU-Instanzen.
Was sind GPU-Instanzen?
GPU-Instanzen sind virtuelle Maschinen oder Rechenressourcen in einer Cloud-Computing-Umgebung, die mit Grafikprozessoren (GPUs) ausgestattet sind.
Anwendungsszenarien:
- Deep Learning: Das Training von neuronalen Netzwerkmodellen erfordert viele Matrixoperationen, und die parallelen Verarbeitungsfähigkeiten von GPUs können das Training erheblich beschleunigen.
- Grafik-Rendering: Wird in der Spieleentwicklung, Film- und Fernsehproduktion und anderen Bereichen verwendet, um hochwertige Grafikausgaben zu liefern.
- Wissenschaftliches Rechnen: Komplexe Simulationen und Berechnungen in den Bereichen Physik, Chemie und Biologie.
GPU-Instanz vs. lokale GPU
1. Die Nutzung von GPU-Instanzen ist günstiger: Der Preis für GPU-Instanzen mit RTX 4090 liegt unter 1 $/h. Laut Amazon kostet eine lokale RTX4090 jedoch etwa 1.660 $.
Kosten einer GPU-Instanz
2. Höhere Skalierbarkeit: Benutzer von GPU-Instanzen können die Anzahl und Leistung der GPU-Instanzen dynamisch anpassen, indem sie einfach mit der Maus klicken.
3. Pay-as-you-go: Benutzer zahlen basierend auf der Nutzung, ohne Vorabinvestitionen in Hardware.
4. Geringere Wartungskosten: Die Verwendung virtueller GPU-Ressourcen bedeutet, dass man sich keine Sorgen um Hardwareschäden machen muss, die das Programm zum Stillstand bringen.
Wie nutze ich die GPU-Cloud?
Schritt 1: Gehe zur Novita.ai Website und klicke auf Produkte – GPU-Instanz.
Novita.ai Website-Seite
Schritt 2: Klicke auf Jetzt starten.
Novita.ai Website-Seite
Schritt 3: Wähle den benötigten Grafikkartentyp und die benötigte Speichermenge aus und klicke auf Bereitstellen.
Novita.ai Website-Seite
Details zum Erstellen einer GPU-Instanz findest du unter How to Use Llama 3 on Novita AI GPU Instance.
Häufig gestellte Fragen
Wie viel RAM benötigt Mixtral?
Mixtral benötigt normalerweise mindestens 8 GB RAM, um gut zu funktionieren. Bei komplexeren Aufgaben kann mehr RAM hilfreich sein. Es ist wichtig, ausreichend RAM zu haben, damit Mixtral reibungslos läuft und Aufgaben effizient verarbeitet.
Welche GPU wird für Mixtral 8x22B benötigt?
Um Mixtral 8x22B effektiv zu nutzen, benötigst du eine leistungsstarke GPU. Es ist am besten, mindestens 48 GB VRAM zu haben. Die NVIDIA A100 ist eine gute Option, um die beste Leistung aus Mixtral herauszuholen.
Wie schnell ist die Token-Generierung von Mistral 7B?
Mistral 7B zeigt beeindruckende Token-Generierungsgeschwindigkeiten. Diese Geschwindigkeiten können je nach Hardware und Einrichtung variieren. Auf einer hochwertigen Consumer-GPU wie der RTX 4080 werden normalerweise zwischen 10 und 20 Token pro Sekunde generiert.
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen unterstützt. Integrierte APIs, serverlos, GPU-Instanz – die kostengünstigen Tools, die Sie benötigen. Infrastruktur eliminieren, kostenlos starten und Ihre KI-Vision verwirklichen.
Empfohlene Lektüre
Mixtral 8x22b Secrets Revealed: A Comprehensive Guide
