Wie man auf ERNIE 4.5 zugreift: Mühelose Wege über Web, API und Code

Wie man auf ERNIE 4.5 zugreift: Mühelose Wege über Web, API und Code

ERNIE 4.5 ist Baidus fortschrittliche KI-Modellfamilie für leistungsstarke Text- und multimodale Verarbeitung. Mit Optionen für sowohl große als auch leichte Bereitstellung bietet ERNIE 4.5 effiziente Leistung und kosteneffektiven Zugang für Entwickler und Unternehmen. Ob Sie mit Text, Bildern oder beidem arbeiten – ERNIE 4.5 kann einfach über Webschnittstellen, APIs und Cloud-Plattformen genutzt werden, ohne komplexe Einrichtung.

Einfache Einführung in ERNIE 4.5

ERNIE 4.5 ist eine Familie fortschrittlicher KI-Modelle, die von Baidu entwickelt wurde und sich auf effiziente multimodale und textbasierte Verarbeitung konzentriert. Diese Modelle nutzen Mixture-of-Experts (MoE)-Architekturen für größere Varianten und dichte Architekturen für kleinere. Sie unterstützen Text- und Bildmodalitäten, mit Optionen für Pre-Training (PT) und Basisversionen. Nachfolgend finden Sie eine Tabelle der wichtigsten Modellvarianten und ein Diagramm, das die Innovationen von ERNIE im KI-Trainingsablauf hervorhebt.

Modell Basis Aktiv Typ Modalität Training
ERNIE 4.5 VL 424B A47B 424B 47B MoE T+V PT
ERNIE 4.5 VL 424B A47B Base 424B 47B MoE T+V Base
ERNIE 4.5 VL 28B A3B 28B 3B MoE T+V PT
ERNIE 4.5 VL 28B A3B Base 28B 3B MoE T+V Base
ERNIE 4.5 VL 28B A3B Thinking 28B 3B MoE T+V PT
ERNIE 4.5 300B A47B 300B 47B MoE Text PT
ERNIE 4.5 300B A47B Base 300B 47B MoE Text Base
ERNIE 4.5 21B A3B 21B 3B MoE Text PT
ERNIE 4.5 21B A3B Base 21B 3B MoE Text Base
ERNIE 4.5 21B A3B Thinking 21B 3B MoE Text PT
ERNIE 4.5 0.3B 0.3B Dense Text PT
ERNIE 4.5 0.3B Base 0.3B Dense Text Base

KI-Trainingsablauf: ERNIE Innovationen hervorgehoben

1. Multimodales heterogenes MoE-Pre-Training

Gemeinsames Text- und Bild-Pre-Training mit heterogener MoE-Struktur, modalitätsisolierter Weiterleitung und ausgewogenem multimodalen Verlust.

2. Skalierungseffiziente Infrastruktur

Hybride Parallelisierung, hierarchische Lastverteilung, Expertenparallelisierung, speicheroptimierte Planung und verlustfreie Quantisierung für hohen Durchsatz und effiziente Inferenz.

3. Modalspezifisches Post-Training

Feinabstimmung für Text- oder Bildaufgaben, unterstützt SFT, DPO und UPO, um vielfältige Anforderungen realer Anwendungen zu erfüllen.

Leistungsvergleich: ERNIE 4.5 vs. GPT-4o

ERNIE 4.5 liefert überlegene Leistung und außergewöhnliche Kosteneffizienz im Vergleich zu GPT-4o und ist damit eine äußerst wettbewerbsfähige Wahl für groß angelegte KI-Bereitstellungen. Dies ist der Preis bei Novita AI!

Leistungsvergleich: ERNIE 4.5 vs. GPT-4o

Von Internet

Zugriff auf ERNIE 4.5 über die Baidu-Plattform (Kostenlose Testversion)

Sie können es direkt über die Weboberfläche der Baidu-Plattform ausprobieren, ohne dass eine Installation erforderlich ist. Besuchen Sie einfach die Website und starten Sie sofort Ihre kostenlose Testversion.

Zugriff über die Baidu-Plattform (Kostenlose Testversion)

Alternativ können Sie den Novita API Playground nutzen, um mit ERNIE 4.5 in einer entwicklerfreundlichen Umgebung zu experimentieren.

Starten Sie eine kostenlose Testversion von ERNIE 4.5

Testen Sie Novita AI noch heute!

Lokaler Zugriff auf ERNIE 4.5

Was sind die Systemanforderungen für die Nutzung von ERNIE 4.5?

FP16-Genauigkeit

Modell Parameter (Aktiv) Benötigter VRAM Ideale GPU(s)
ERNIE 4.5 VL 424B 424B (47B aktiv) ~945 GB NVIDIA H100 (80GB) × 12
ERNIE 4.5 300B 300B (47B aktiv) ~668 GB NVIDIA H100 (80GB) × 9
ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking 28B (3B aktiv) ~80 GB NVIDIA A100/H100 (80GB)
ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking 21B (3B aktiv) ~48GB NVIDIA RTX 4090 (24GB) X2
ERNIE 4.5 0.3B 300M ~2,5 GB NVIDIA RTX 4090 (8GB) / RTX 3060 (12GB)

INT4-Genauigkeit

Modell Parameter (Aktiv) Benötigter VRAM Ideale GPU(s)
ERNIE 4.5 VL 424B 424B (47B aktiv) ~237 GB NVIDIA H100 (80GB) × 3
ERNIE 4.5 300B 300B (47B aktiv) ~168 GB NVIDIA H100 (80GB) × 3
ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking 28B (3B aktiv) ~17 GB NVIDIA RTX 4090 (24GB) / A10G (24GB)
ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking 21B (3B aktiv) ~13 GB NVIDIA RTX 4080 (16GB) / A10G (24GB)
ERNIE 4.5 0.3B 300M ~1,8 GB Die meisten GPUs mit >4GB VRAM

Basierend auf dem offiziellen ERNIEToolkit und der Open-Source-Veröffentlichung:

  • OS: Linux wird dringend empfohlen (Ubuntu oder ähnlich).
  • Framework: PaddlePaddle (neueste Version) erforderlich.
    • Für Inferenz/Training: ERNIEKit verwenden (basiert auf PaddlePaddle).
    • Die Bereitstellung kann mit FastDeploy beschleunigt werden.
  • Abhängigkeiten:
    • Python 3.8+
    • CUDA und cuDNN passend zu Ihrer GPU-Ausstattung.
    • Für PyTorch-Umgebung: Modelle sind auch über transformers mit trust_remote_code=True verfügbar.

Falls der Kauf einer GPU zu teuer erscheint, können Sie die kostengünstigen und zuverlässigen Cloud-GPU-Dienste von Novita AI nutzen. Sie können beispielsweise eine 1x H100 SXM 80GB-Instanz mit 80 GB VRAM für nur 2,56 $ pro Stunde erhalten oder auf 8 GPUs für 20,48 $ pro Stunde hochskalieren.

Testen Sie Novita AI noch heute!

Zugriff auf ERNIE 4.5 aus einer Python-Anwendung

  • Hugging Face: Verwenden Sie ERNIE 4.5 in Spaces, Pipelines oder mit der Transformers-Bibliothek über Novita AI-Endpunkte.

  • Agent- und Orchestrierungsframeworks: Verbinden Sie Novita AI einfach mit Partnerplattformen wie Continue, AnythingLLM, LangChain, Dify und Langflow über offizielle Konnektoren und schrittweise Integrationsanleitungen.

  • OpenAI-kompatible API: Genießen Sie eine problemlose Migration und Integration mit Tools wie Cline und Cursor, die für den OpenAI API-Standard entwickelt wurden.

Zugriff auf ERNIE 4.5 aus einer Python-Anwendung

Weitere Details finden Sie in der Dokumentation.

Zugriff auf ERNIE 4.5 über die API

Schritt 1: Anmelden und auf die Modellbibliothek zugreifen

Melden Sie sich in Ihrem Konto an und klicken Sie auf die Schaltfläche Modellbibliothek.

Anmelden und auf die Modellbibliothek zugreifen

ERNIE 4.5 jetzt testen!

Schritt 2: Wählen Sie Ihr Modell

Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.

Wählen Sie Ihr Modell

Schritt 3: Starten Sie Ihre kostenlose Testversion

Beginnen Sie Ihre kostenlose Testversion, um die Fähigkeiten des ausgewählten Modells zu erkunden.

Starten Sie eine kostenlose Testversion von ERNIE 4.5

Schritt 4: Holen Sie sich Ihren API-Schlüssel

Um sich bei der API zu authentifizieren, stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Gehen Sie auf die Seite „Einstellungen“ und kopieren Sie den API-Schlüssel wie im Bild angegeben.

API-Schlüssel abrufen

Schritt 5: Installieren Sie die API

Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.

Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat Completions API für Python-Benutzer.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

Der Zugriff auf ERNIE 4.5 ist flexibel und unkompliziert – wählen Sie den Ansatz, der zu Ihrem Arbeitsablauf passt, von sofortigen Web-Testversionen bis hin zu robuster API-Integration und lokaler Bereitstellung. Mit überlegener Leistung und effizienter Preisgestaltung ist ERNIE 4.5 eine praktische Wahl für KI-Anwendungen der nächsten Generation.

Häufig gestellte Fragen

Ist ERNIE 4.5 wirklich besser als andere große KI-Modelle?

Ja, ERNIE 4.5 erzielt in den meisten Benchmarks höhere Punktzahlen als DeepSeek V3 671B und ist sehr wettbewerbsfähig mit anderen Top-Modellen.

Was sind die Systemanforderungen für die lokale Ausführung von ERNIE 4.5?

Die Anforderungen variieren je nach Modellgröße, aber Sie benötigen ein Linux-System, Python 3.8+, PaddlePaddle und eine kompatible NVIDIA-GPU. Cloud-GPU-Optionen sind verfügbar, falls Sie keine lokale Hardware haben.

Wie viel VRAM benötige ich, um ERNIE 4.5 auszuführen?

Die Ausführung der größten Versionen von ERNIE 4.5 (wie 424B oder 300B) erfordert sehr hohen VRAM – Hunderte von GB und mehrere High-End-GPUs. Kleinere oder quantisierte Versionen benötigen wesentlich weniger VRAM.

Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen beflügelt. Integrierte APIs, Serverless, GPU-Instanz – die kostengünstigen Tools, die Sie brauchen. Verzichten Sie auf Infrastruktur, starten Sie kostenlos und verwirklichen Sie Ihre KI-Vision.

Empfohlene Lektüre