Wichtige Highlights
DeepSeek V3 führt innovative Architekturmerkmale wie MoE und MLA ein, die die Effizienz und Kontextlänge erheblich verbessern.
Die Kosteneffizienz von DeepSeek V3 ist bemerkenswert, mit niedrigen Trainingskosten und API-Nutzungsgebühren, die günstiger sind als die der Konkurrenz.
Benutzer können über die Novita AI-API auf DeepSeek V3 zugreifen oder es lokal bereitstellen, was Flexibilität für verschiedene Anforderungen und Ressourcen bietet.
DeepSeek, ein innovatives KI-Modell, erlangte Ende Januar 2025 weltweite Berühmtheit. Nach der Veröffentlichung des V3-Modells und der App löste die Open-Source-Freigabe des R1-Inferenzmodells am 20. Januar weltweit Interesse aus. Innerhalb weniger Tage stieg die DeepSeek-App an die Spitze des US-amerikanischen App Stores und überholte Technologiegiganten. In diesem Artikel werden wir untersuchen, wie man darauf zugreifen kann, lokale Bereitstellung mit API-Zugriff vergleichen und Anleitungen für verschiedene Benutzeranforderungen geben.
Was ist DeepSeek V3?
DeepSeek V3 ist ein hochmodernes Open-Source-Mixture-of-Experts (MoE) Large Language Model, das von der Beijing DeepSeek Technology Co., Ltd. entwickelt wurde. Dieses fortschrittliche Modell verfügt über 671 Milliarden Parameter, wobei während der Inferenz nur 37 Milliarden pro Token aktiviert werden, um die Leistung zu optimieren und den Ressourcenverbrauch zu minimieren. DeepSeek V3 wurde entwickelt, um mit führenden Modellen wie GPT zu konkurrieren und zeichnet sich besonders bei Programmier- und technischen Aufgaben aus.
Hauptmerkmale
- Mixture-of-Experts (MoE)-Architektur: DeepSeek V3 verwendet ein MoE-Framework mit fein abgestimmten dynamischen Lastausgleichstechniken, wodurch der Bedarf an Hilfsverlusten entfällt.
- Multi-Head Latent Attention (MLA): Diese Funktion verbessert die Inferenzeffizienz, indem sie Aufmerksamkeitsschlüssel und -werte komprimiert, den Speicherbedarf reduziert und dem Modell ermöglicht, lange Kontextfenster von bis zu 128.000 Token zu verarbeiten.
- Multi-Token Prediction (MTP): MTP ermöglicht es DeepSeek V3, mehrere Token gleichzeitig vorherzusagen, was sowohl die Trainingseffizienz als auch die Inferenzgeschwindigkeit verbessert.
- FP8 Mixed Precision Training: Das Modell verwendet 8-Bit-Gleitkommagenauigkeit für das Training, wodurch Speicher- und Rechenkosten gesenkt werden.
- Zweisprachige Unterstützung: DeepSeek V3 ist sowohl für Englisch als auch für Chinesisch optimiert, was es für mehrsprachige Anwendungen in diesen Sprachen geeignet macht.
Wie in der Grafik dargestellt, erreicht DeepSeek-V3 durch sein innovatives Architekturdesign eine optimale Balance zwischen hoher Leistung und niedrigen Kosten und setzt damit einen Maßstab für das Preis-Leistungs-Verhältnis. Dieses Design ermöglicht es DeepSeek-V3, sich unter zahlreichen Modellen hervorzuheben und eine vielseitige Wahl für verschiedene Budgets und Aufgabenanforderungen zu sein.
- Große Inferenzaufgaben (z. B. Batch-Inhaltsgenerierung).
- Unternehmen und kleine bis mittelgroße Teams mit starkem Fokus auf Kostenefizienz.
- Aufgaben, die Mathematik, Codegenerierung und komplexe logische Schlussfolgerungen umfassen.
DeepSeek-V3 ist jetzt live auf Novita AI! Genießen Sie unglaublich niedrige Preise pro Million Token für Eingabe und Ausgabe – verpassen Sie nicht diese Gelegenheit, auf hochmoderne KI zu unschlagbaren Kosten zuzugreifen!
Vergleich mit anderen Modellen
DeepSeek-V3 ist ein leistungsstarkes Modell, das in mehreren Bereichen hervorragende Ergebnisse liefert, insbesondere bei der Verarbeitung von Fachwissen, grundlegender Mathematik und Programmieraufgaben. Es gibt jedoch Verbesserungspotenzial bei fortgeschrittenen logischen Schlussfolgerungen und spezifischen Fachanwendungen. Dies deutet auf zukünftige Verbesserungsbereiche hin, wie z. B. die Steigerung der offenen Problemlösung, komplexer mathematischer Schlussfolgerungen und der Leistung in praktischen Softwareentwicklungsszenarien.
Wenn Sie einen detaillierteren Parametervergleich sehen möchten, können Sie die Artikel lesen: Deepseek v3 vs Llama 3.3 70b: Sprachaufgaben vs. Code & Mathematik; Llama 3.2 3B vs DeepSeek V3: Vergleich von Effizienz und Leistung.
So greifen Sie lokal auf DeepSeek V3 zu
Hardwareanforderungen und Konfigurationsempfehlungen
-
Betriebssystem
- Windows 10 oder neuer
- macOS 10.15 oder später
- Linux (Ubuntu 18.04+)
-
CPU
- Mehrkernprozessor (mindestens 4 Kerne)
-
GPU
- NVIDIA GPUs empfohlen für schnellere Inferenz
- Mindestens 8 GB VRAM für kleinere R1-Destillate
- Mehr VRAM erforderlich für das vollständige 671B-Modell
- Nur-CPU-Ausführung möglich, aber deutlich langsamer
-
Arbeitsspeicher (RAM)
- 8 GB: Ausreichend für kleinste Versionen (1,5B oder 7B)
- 16 GB oder mehr: Empfohlen für mittlere Modelle (14B oder 32B)
-
Speicher
- 4–50 GB freier Speicherplatz erforderlich, abhängig von der heruntergeladenen R1-Größe
-
Softwareanforderungen
- Python 3.10 für offizielle R1-Skripte
Schritt-für-Schritt-Installationsanleitung
1. Repository klonen:
git clone https://github.com/deepseek-ai/DeepSeek-V3.git
2. In den Inferenzordner navigieren und Abhängigkeiten installieren:
cd DeepSeek-V3/inference
pip install -r requirements.txt
3. Modellgewichte herunterladen:
Laden Sie die Modellgewichte von Hugging Face herunter und platzieren Sie sie im angegebenen Verzeichnis (z. B. /path/to/DeepSeek-V3).
4. Modellgewichte konvertieren:
Verwenden Sie das bereitgestellte Skript convert.py, um die Gewichte in ein bestimmtes Format zu konvertieren. Beispiel:
python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16
5. DeepSeek-V3 ausführen:
Verwenden Sie den Befehl torchrun, um das Modell zu starten. Passen Sie die Parameter nach Bedarf an Ihre Konfiguration an. Beispiel:
torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200
6. Batch-Inferenz (optional):
Für die Batch-Inferenz aus einer bestimmten Datei:
torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --input-file $FILE
So greifen Sie über Novita AI auf DeepSeek V3 zu
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bietet.
Schritt 1: Anmelden und auf die Modellbibliothek zugreifen
Melden Sie sich bei Ihrem Konto an und klicken Sie auf die Schaltfläche Model Library.
DeepSeek V3 Demo jetzt ausprobieren!
Schritt 2: Wählen Sie Ihr Modell aus
Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Starten Sie Ihre kostenlose Testversion
Beginnen Sie Ihre kostenlose Testversion, um die Fähigkeiten des ausgewählten Modells zu erkunden.
Schritt 4: Holen Sie sich Ihren API-Schlüssel
Um sich bei der API zu authentifizieren, stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Rufen Sie die Seite „Settings“ auf und kopieren Sie den API-Schlüssel wie im Bild angegeben.
Schritt 5: Installieren Sie die API
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Benutzer.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<IHR Novita AI API-Schlüssel>",
)
model = "deepseek/deepseek_v3"
stream = True # oder False
max_tokens = 2048
system_content = """Sei ein hilfreicher Assistent"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hallo!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Bei der Registrierung bietet Novita AI ein Guthaben von 0,5 $, um Ihnen den Einstieg zu erleichtern!
Wenn das kostenlose Guthaben aufgebraucht ist, können Sie bezahlen, um die Nutzung fortzusetzen.
Welche Methoden sind für Sie geeignet?
Vergleich von lokalem und API-Zugriff
| Funktion | Lokale Bereitstellung | API-Zugriff |
|---|---|---|
| Kontrolle | Hoch | Eingeschränkt |
| Anpassung | Flexibel | Eingeschränkt |
| Hardwareanforderungen | Hoch | Niedrig |
| Anschaffungskosten | Hoch | Niedrig |
| Skalierbarkeit | Eingeschränkt | Hoch |
| Wartungsaufwand | Hoch | Niedrig |
| Datenschutz | Stark | Abhängig vom Anbieter |
Empfehlungen für verschiedene Benutzergruppen
-
Für Forscher und Entwickler
- Empfehlung: Lokale Bereitstellung von DeepSeek V3.
- Warum: Bietet volle Kontrolle über das Modell und ermöglicht umfangreiche Anpassungen und Optimierungen.
- Überlegungen: Erfordert erhebliche Hardwareressourcen und fortgeschrittene technische Kenntnisse.
-
Für Startups und kleine bis mittelgroße Unternehmen
- Empfehlung: Verwenden Sie die DeepSeek V3 API von Novita AI.
- Vorteile: Kosteneffizient, einfach zu integrieren und skalierbar, um sich ändernden Geschäftsanforderungen gerecht zu werden.
- Beste Anwendungsfälle: Schnelles Prototyping von Ideen und Erstellung KI-gesteuerter Anwendungen ohne hohe Vorabinvestitionen.
Zusammenfassend ist DeepSeek V3 ein leistungsstarkes Open-Source-Modell, das herausragende Leistungen bei Programmier-, Mathematik- und Denkaufgaben bietet. Es bietet Flexibilität für verschiedene Anwendungsfälle, egal ob lokal bereitgestellt oder über APIs zugegriffen wird. Während die lokale Bereitstellung volle Kontrolle bietet, erfordert sie erhebliche Hardwareressourcen. Alternativ bieten Plattformen wie Novita AI eine zugänglichere und bequemere Möglichkeit, die Fähigkeiten des Modells zu nutzen. Die optimale Wahl hängt von den Anforderungen Ihres Projekts, Ihrem technischen Fachwissen und Ihrem Budget ab.
Häufig gestellte Fragen
Wie erreicht DeepSeek V3 seine Effizienz?
DeepSeek V3 verwendet eine Mixture-of-Experts (MoE) -Architektur und aktiviert nur 37 Milliarden Parameter pro Token. Es verwendet Multi-Head Latent Attention (MLA) und ein Multi-Token Prediction (MTP) -Ziel, um den Ressourcenverbrauch zu reduzieren und sowohl Training als auch Inferenz zu beschleunigen.
Was sind die wichtigsten Vorteile von DeepSeek V3?
DeepSeek V3 zeichnet sich bei Programmier-, Mathematik-, Denk- und allgemeinen Wissensaufgaben aus und bietet eine starke mehrsprachige Unterstützung für Englisch und Chinesisch. Es zeigt außergewöhnliche Leistungen in verschiedenen Benchmarks und übertrifft oft andere Open-Source- und sogar Closed-Source-Modelle.
Welche VRAM-Anforderungen hat DeepSeek V3?
Die VRAM-Anforderungen für DeepSeek V3 variieren je nach Genauigkeit. Für FP16 benötigt das 671B-Modell etwa 1.543 GB VRAM, während es bei 4-Bit-Quantisierung etwa 386 GB VRAM benötigt. Die aktiven Parameter betragen 37B.
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen unterstützt. Integrierte APIs, serverlos, GPU-Instanz – die kosteneffizienten Tools, die Sie benötigen. Infrastruktur eliminieren, kostenlos starten und Ihre KI-Vision verwirklichen.
