Holen Sie sich $10 für die LLM-API
Um die Open-Source-KI-Community zu unterstützen und Innovationen in der Verarbeitung natürlicher Sprache zu beschleunigen, hat Novita AI fünf leistungsstarke Modelle kostenlos über die API zugänglich gemacht. Dazu gehören das kompakte und dennoch leistungsfähige Llama 3.2 1B Instruct, das vielseitige Qwen2.5-7B Instruct, die leistungsstarken GLM-4-9B-0414 und GLM-Z1-9B-0414 sowie das mehrsprachige und multifunktionale Embedding-Modell BGE-M3. Durch den offenen Zugang zu diesen Modellen möchte Novita AI Entwicklern, Forschern und Startups ermöglichen, KI-Anwendungen effizienter zu erstellen, zu testen und zu skalieren – ohne die Belastung durch hohe Infrastrukturkosten.
Llama 3.2 1b instruct
- Modellgröße: 1,23 Milliarden Parameter
- Architektur: Optimierter Transformer mit Grouped-Query Attention (GQA), SwiGLU-Aktivierung, Rotary Positional Embeddings (RoPE) und RMSNorm
- Kontextlänge: 128.000 Token
- Mehrsprachigkeit: Offiziell unterstützt werden Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai; trainiert auf einer breiteren Sprachpalette
- Modalität: Text-zu-Text (Eingabe und Ausgabe)
- Trainingsdaten: Trainiert auf bis zu 9 Billionen Token aus öffentlich verfügbaren Online-Daten
- Open Source: ✅
- Benchmark: Zeigt starke Leistung bei Aufgaben wie Anweisungsbefolgung, Zusammenfassung, Prompt-Umschreibung und Werkzeugnutzung; konkurrenzfähig mit anderen Modellen seiner Parameterklasse
Qwen2.5-7b-instruct
Qwen 2.5 7B ist ein mehrsprachiges, quelloffenes Transformer-Modell mit starker Leistung bei allgemeinen, mathematischen, Programmier- und mehrsprachigen Aufgaben. Es wurde für Vielseitigkeit, schlanke Bereitstellung und breite Sprachunterstützung entwickelt.
- Modellgröße: 7,61 Milliarden Parameter
- Architektur: Transformer mit RoPE, SwiGLU, RMSNorm und Attention QKV Bias
- Kontextlänge: 128.000 Token
- Mehrsprachigkeit: Unterstützt über 29 Sprachen
- Modalität: Text-zu-Text
- Trainingsdaten: Trainiert auf 18+ Billionen Token
- Open Source: ✅
- Benchmark: Qwen 2.5 7B belegt Platz 1 in allen Kategorien dieser Benchmark-Suite – allgemeine Aufgaben, MINT, Programmierung und mehrsprachiges Verständnis – trotz vergleichsweise kompakter Parameteranzahl.
GLM-4-9b-0414 und GLM-Z1-9b-0414
GLM-4-9B-0414 und GLM-Z1-9B-0414 sind zwei quelloffene Sprachmodelle mit 9 Milliarden Parametern, entwickelt von THUDM, jeweils optimiert für unterschiedliche Aufgaben.
- GLM-4-9B-0414: Dieses Modell, das für die Dialoggenerierung entwickelt wurde, übernimmt die Architektur von GLM-4-32B und zeichnet sich bei Aufgaben wie mehreren Gesprächsrunden, Übersetzung und Zusammenfassung aus. Es unterstützt ein 32K-Kontextfenster und eignet sich für ressourcenbeschränkte Bereitstellungen, die robuste Sprachverständnis- und Generierungsfähigkeiten erfordern.
- GLM-Z1-9B-0414: Dieses Modell konzentriert sich auf mathematisches Denken und allgemeine Aufgaben und nutzt Techniken wie erweitertes Reinforcement Learning und paarweises Ranking-Alignment. Es zeigt starke Leistungen in Mathematik, Code und Logik und übertrifft viele Open-Source-Modelle seiner Gewichtsklasse.
| Merkmal | Wert |
|---|---|
| Modellgröße | 9 Milliarden Parameter |
| Stärken | - GLM-4-9B-0414: Hohes Leistungs-Größenverhältnis, exzellent in Mathematik & Logik - GLM-Z1-9B-0414: Starke Leistung bei Mathematik und allgemeinen Aufgaben |
| Aufgabenorientierung | - GLM-4-9B-0414: Chat-orientiert - GLM-Z1-9B-0414: Denk-orientiert |
| Modalitäten | Text-zu-Text mit HTML/SVG-Visualisierungsunterstützung |
| Kontextfenster | 32.000 Token |
| Training & Alignment | Destilliert aus GLM-4-32B. Das Basismodell wurde auf 15 Billionen Token hochwertiger Daten (insbesondere synthetische Denkdaten) vortrainiert und durch menschliche Präferenzoptimierung für Dialogaufgaben ausgerichtet. |
bge-m3
BGE-M3 ist ein hochmodernes Text-Embedding-Modell, das von der Pekinger Akademie für Künstliche Intelligenz (BAAI) entwickelt wurde. Es ist für außergewöhnliche Vielseitigkeit ausgelegt und bietet starke Leistung in drei Kernbereichen: Funktionalität, Sprachunterstützung und Eingabegranularität. BGE-M3 erzielt Spitzenergebnisse in mehreren Benchmarks, darunter MKQA und MLDR, und übertrifft in einsprachigen und sprachübergreifenden Retrieval-Szenarien durchweg konkurrierende Modelle.
- Multi-Funktionalität: BGE-M3 integriert nahtlos drei Retrieval-Strategien in einer einheitlichen Architektur:
- Dense Retrieval – Erzeugt eine einzelne Vektorrepräsentation pro Eingabe, ideal für allgemeines semantisches Matching.
- Sparse Retrieval – Betont die Wichtigkeit auf Token-Ebene, ähnlich wie traditionelles lexikalisches Matching.
- Multi-Vector Retrieval – Erzeugt mehrere Vektoren pro Eingabe, um feinkörnige Semantik zu erfassen und die Retrieval-Genauigkeit zu steigern.
- Mehrsprachigkeit: Unterstützt über 100 Sprachen und ermöglicht sowohl mehrsprachiges als auch sprachübergreifendes Retrieval.
- Multi-Granularität: Konzipiert für eine breite Palette von Eingabelängen – von kurzen Phrasen bis zu langen Dokumenten – mit Unterstützung von bis zu 8192 Token pro Eingabe.
So erhalten Sie Zugriff auf kostenlose Modelle bei Novita AI
Schritt 1: Einloggen und auf die Modellbibliothek zugreifen
Loggen Sie sich in Ihr Konto ein und klicken Sie auf die Schaltfläche Modellbibliothek.
Schritt 2: Wählen Sie Ihr Modell
Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Starten Sie Ihre kostenlose Testversion
Starten Sie Ihre kostenlose Testversion, um die Fähigkeiten des ausgewählten Modells zu erkunden.
Schritt 4: Holen Sie sich Ihren API-Schlüssel
Zur Authentifizierung mit der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Gehen Sie auf die Seite „Einstellungen“ und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 5: Installieren Sie die API
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat-Completions-API für Python-Benutzer.
from openai import OpenAI
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "model name"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Egal, ob Sie einen intelligenten Chatbot, eine semantische Suchmaschine oder ein mehrsprachiges Empfehlungssystem entwickeln – der kostenlose Zugang zu Novita AI-Modellen bietet alles, was Sie für einen schnellen Start benötigen. Mit erstklassiger Leistung und einfacher API-Integration machen diese Modelle skalierbare KI zugänglicher denn je.
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, sowie eine erschwingliche und zuverlässige GPU-Cloud für den Aufbau und die Skalierung bereitstellt.
