DeepSeek V3: Fortschrittliche Open-Source-Codemodelle, jetzt auf Novita AI verfügbar

Die Welt der Open-Source-Innovation macht einen großen Schritt nach vorne mit der Veröffentlichung von DeepSeek V3, einem fortschrittlichen Codegenerierungsmodell, das die Art und Weise, wie Entwickler Programmieraufgaben angehen, neu definieren wird. Jetzt auf Novita AI verfügbar, wird dieses bahnbrechende Modell Entwickler, Forscher und Technikbegeisterte gleichermaßen mit beispiellosen Fähigkeiten ausstatten.

Was ist DeepSeek V3?

DeepSeek V3 ist ein hochmodernes Mixture-of-Experts (MoE) Large Language Model mit 671 Milliarden Parametern, von denen bei der Inferenz 37 Milliarden pro Token aktiviert werden. Als Open-Source-Modell veröffentlicht, ermöglicht es Entwicklern, komplexe Herausforderungen in den Bereichen Programmierung, logisches Denken, Mathematik und Textgenerierung zu bewältigen.

DeepSeek V3 zeichnet sich durch seine effiziente Architektur und kosteneffektives Training aus. Das Training erforderte nur 2,788 Millionen H800-GPU-Stunden und kostete etwa 5,5 Millionen US-Dollar, weit weniger als die Ressourcen, die für vergleichbare Closed-Source-Modelle wie GPT-4 benötigt werden. Durch den Einsatz innovativer Techniken wie Multi-Head Latent Attention (MLA) und Multi-Token Prediction (MTP) liefert DeepSeek V3 außergewöhnliche Leistung, während es skalierbar und zugänglich bleibt.

Hauptmerkmale von DeepSeek V3

1. Mixture-of-Experts (MoE)-Architektur

DeepSeek V3 verwendet ein MoE-Framework mit feinkörnigen dynamischen Lastausgleichstechniken. Im Gegensatz zu traditionellen MoE-Modellen entfällt die Notwendigkeit eines Hilfsverlusts, wodurch sichergestellt wird, dass die Rechenressourcen effizient verteilt werden, ohne Leistungseinbußen.

2. Multi-Head Latent Attention ( MLA )

MLA verbessert die Inferenzeffizienz, indem es Aufmerksamkeitsschlüssel und -werte komprimiert, den Speicheraufwand reduziert und gleichzeitig eine hohe Aufmerksamkeitsqualität beibehält. Dies ermöglicht es DeepSeek V3, lange Kontextfenster von bis zu 128K Token zu verarbeiten, was es ideal für Aufgaben mit erweiterten Texteingaben macht.

3. Multi-Token Prediction (MTP)

Das MTP-Ziel ermöglicht es DeepSeek V3, mehrere Token gleichzeitig vorherzusagen, was sowohl die Trainingseffizienz als auch die Inferenzgeschwindigkeit verbessert. Diese Funktion ist besonders nützlich für die Generierung von Langtextinhalten oder die Lösung komplexer Probleme.

4. FP8 Mixed Precision Training

DeepSeek V3 verwendet FP8 (8-Bit-Gleitkomma)-Präzision für das Training, wodurch Speicher- und Rechenkosten reduziert werden, während die numerische Stabilität erhalten bleibt. Diese Innovation ermöglicht es dem Modell, effizient zu skalieren, ohne dass ein großer Hardware-Fußabdruck erforderlich ist.

5. Englisch- und Chinesisch-Sprachunterstützung

DeepSeek V3 ist für Englisch und Chinesisch optimiert und ist eine ausgezeichnete Wahl für Entwickler, die mehrsprachige Anwendungen für diese beiden weit verbreiteten Sprachen erstellen. Obwohl es keine breite Palette von Sprachen unterstützt, zeichnet es sich in diesen spezifischen Bereichen aus.

Benchmark-Leistung von DeepSeek V3

DeepSeek V3 übertrifft in verschiedenen Benchmarks konsequent viele Open-Source- und sogar Closed-Source-Modelle. Nachfolgend finden Sie einen Vergleich seiner Leistung:

1. Exzellenz bei der Codegenerierung:
   • DeepSeek V3 erreicht 82,6% bei HumanEval-Mul (Pass@1) und 51,6% bei Codeforces, was es zu einer robusten Lösung für Codegenerierungs- und Bewertungsaufgaben macht.
   • Bei LiveCodeBench (Pass@1-COT) übertrifft es seine Vorgänger mit 40,5% deutlich und schneidet im Vergleich zu anderen Modellen wettbewerbsfähig ab.
2. Mathematisches Denken:
   • DeepSeek V3 führt bei MATH-500 (90,2%) und zeigt eine starke Leistung bei CNMO 2024 (Pass@1) und AIME 2024, was seine Fähigkeit demonstriert, fortgeschrittene mathematische Problemlösungen zu bewältigen.
3. Mehrsprachige Fähigkeiten:
   • Mit 90,9% bei CLUEWSC und 86,5% bei C-Eval festigt DeepSeek V3 seine Position als hervorragendes Modell für chinesische Aufgaben, während es bei englischen Benchmarks wie MMLU (88,5%) robuste Leistung beibehält.
4. Allgemeinwissen und Denken:
   • Es erreicht 91,6% bei DROP (3-shot F1) und 89,1% bei MMLU-Redux, was seinen Nutzen in wissensintensiven Anwendungen zeigt.

DeepSeek V3 Demo jetzt testen

Bereitstellungsoptionen für DeepSeek V3

DeepSeek V3 bietet Flexibilität bei der Bereitstellung, sodass Benutzer es nahtlos in ihre Arbeitsabläufe integrieren können. Egal, ob Sie es lieber lokal oder in der Cloud ausführen möchten, das Modell unterstützt eine Vielzahl von Hardware- und Open-Source-Community-Softwaretools. Hier sind die empfohlenen Optionen für die Bereitstellung:

1. DeepSeek-Infer Demo: Eine einfache und leichte Demo für FP8- und BF16-Inferenz, die eine einfache Möglichkeit bietet, das Modell zu testen.
2. SGLang: Unterstützt das DeepSeek-V3-Modell vollständig im BF16- und FP8-Inferenzmodus, Multi-Token-Prediction-Unterstützung folgt in Kürze.
3. LMDeploy: Ermöglicht effiziente FP8- und BF16-Inferenz für lokale und Cloud-Bereitstellungen.
4. TensorRT-LLM: Unterstützt derzeit BF16-Inferenz und INT4/INT8-Quantisierung, FP8-Unterstützung ist für zukünftige Updates geplant.
5. vLLM: Unterstützt DeepSeek V3 im FP8- und BF16-Modus und ermöglicht Tensor-Parallelität und Pipeline-Parallelität für effizientes Skalieren.

Zugriff auf die DeepSeek V3 API über Novita AI

Die Plattform von Novita AI vereinfacht die Bereitstellung von DeepSeek V3 durch vorkonfigurierte APIs und eine erschwingliche GPU-Cloud-Infrastruktur. Entwickler können das Modell nahtlos in ihre Anwendungen integrieren, ohne sich um Hardware-Setup oder Skalierbarkeit kümmern zu müssen.

Um mit DeepSeek V3 auf Novita AI zu beginnen, befolgen Sie diese Schritte:

Schritt 1: Gehen Sie zu Novita AI und melden Sie sich mit Ihrem Google-, GitHub-Konto oder Ihrer E-Mail-Adresse an.

Schritt 2: Testen Sie die DeepSeek V3 Demo.

Schritt 3: Überwachen Sie die LLM Metriken-Konsole des Modells auf Novita AI.

Schritt 4: Holen Sie sich Ihren API-Key:

• Navigieren Sie zu „Schlüsselverwaltung“ in den Einstellungen
• Bei der ersten Anmeldung wird ein Standardschlüssel erstellt
• Generieren Sie zusätzliche Schlüssel, indem Sie auf „+ Neuen Schlüssel hinzufügen“ klicken

Schritt 5: Richten Sie Ihre Entwicklungsumgebung ein und konfigurieren Sie Optionen wie Inhalt, Rolle, Name und Prompt.

API-Integration

Novita AI bietet Client-Bibliotheken für Curl, Python und JavaScript, die eine einfache Integration von DeepSeek V3 in Ihre Projekte ermöglichen:

Für Python-Benutzer:

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "deepseek/deepseek_v3"
stream = True # or False
max_tokens = 8192
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

Für JavaScript-Benutzer:

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "https://api.novita.ai/v3/openai",
  apiKey: "<YOUR Novita AI API Key>",
});
const stream = true; // or false

async function run() {
  const completion = await openai.chat.completions.create({
    messages: [
      {
        role: "system",
        content: "Be a helpful assistant",
      },
      {
        role: "user",
        content: "Hi there!",
      },
    ],
    model: "deepseek/deepseek_v3",
    stream,
    response_format: { type: "text" },
    max_tokens: 8192,
    temperature: 1,
    top_p: 1,
    min_p: 0,
    top_k: 50,
    presence_penalty: 0,
    frequency_penalty: 0,
    repetition_penalty: 1
  });

  if (stream) {
    for await (const chunk of completion) {
      if (chunk.choices[0].finish_reason) {
        console.log(chunk.choices[0].finish_reason);
      } else {
        console.log(chunk.choices[0].delta.content);
      }
    }
  } else {
    console.log(JSON.stringify(completion));
  }
}

run();

Für Curl-Benutzer:

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <YOUR Novita AI API Key>" \
  -d @- << 'EOF'
{
    "model": "deepseek/deepseek_v3",
    "messages": [
        {
            "role": "system",
            "content": "Be a helpful assistant"
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
    ],
    "response_format": { "type": "text" },
    "max_tokens": 8192,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF

Nutzen Sie die Leistungsfähigkeit von DeepSeek V3 noch heute

DeepSeek V3 stellt einen Durchbruch in der Open-Source-KI dar und vereint Skalierbarkeit, Kosteneffizienz und außergewöhnliche Leistung. Zusammen mit vielseitigen Bereitstellungsoptionen auf GPUs und Cloud-Plattformen ist DeepSeek V3 ein leistungsstarkes Werkzeug für Entwickler und Unternehmen gleichermaßen.

Starten Sie noch heute mit DeepSeek V3 auf Novita AI und nutzen Sie das Potenzial fortschrittlicher KI für Ihre Projekte.

Über Novita AI

Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für das Skalieren bereitstellt.