Erleben Sie die nächste Generation der KI-Entwicklung mit der neuesten Integration von Metas Llama 3.2-Modellen in Novita AI. Unsere Plattform bietet jetzt eine umfassende Suite von Modellen, die auf verschiedene Entwicklungsanforderungen zugeschnitten sind, während sie Kosteneffizienz und überragende Leistung beibehalten.
Was ist neu bei Llama 3.2
|||||||
1) Multimodale Eingabe in 11B- und 90B-Modellen
Quelle: Meta
- Bildverständnis: Erkennt Objekte, Szenen und Zeichnungen sowie OCR-Fähigkeiten.
- Bildbeschriftung und QA: Generiert Bildunterschriften und beantwortet Fragen basierend auf visuellen Inhalten.
- Visuelles Denken: Analysiert Gleichungen, Diagramme und Dokumente für verbessertes visuelles Denken.
2) Kleinere Größen bei den reinen Textmodellen 1B und 3B
- Neue SLM-Anwendungsfälle (Small Language Model):
- Zusammenfassung auf dem Gerät
- Schreiben und Übersetzen
- QA in mehreren Sprachen
Verfügbare Llama 3.2-Modelle auf Novita AI
Novita AI bietet stolz drei leistungsstarke Varianten von Llama 3.2 an, jede optimiert für verschiedene Anwendungsfälle:
Llama 3.2 1B Instruct: Ihr Einstieg in effiziente KI
Transformieren Sie Ihren Entwicklungsablauf mit unserem am besten zugänglichen Modell, das ein beeindruckendes Token-Kontextfenster von 131.000 bietet. Bei nur 0,02 $/M Token bietet dieses Modell außergewöhnlichen Wert für schnelles Prototyping und leichte Anwendungen. Jetzt Llama 3.2 1B Instruct ausprobieren
Llama 3.2 3B Instruct: Leistung trifft Performance
Erschließen Sie verbesserte Denkfähigkeiten mit unserem Mittelklasse-Modell, das eine Kontextlänge von 32.768 Token bietet. Mit wettbewerbsfähigen Preisen von 0,03 $/M Eingabe-Token und 0,05 $/M Ausgabe-Token ist es perfekt für mittelgroße Anwendungen geeignet, die robuste Leistung erfordern. Jetzt Llama 3.2 3B Instruct ausprobieren
Llama 3.2 11B Vision Instruct: Multimodale Exzellenz
Erleben Sie hochmoderne multimodale Verarbeitung mit unserem fortschrittlichen Vision-Modell. Es unterstützt eine Kontextlänge von 131.000 Token bei 0,06 $/M Token und zeichnet sich in komplexen visuell-linguistischen Aufgaben aus. Jetzt Llama 3.2 11B Vision Instruct ausprobieren
Fortschrittliche multimodale KI mit Open-Source-Basis
Anwendung des Llama 3.2-Modells
Die Llama 3.2 Vision-Modelle mit 11 Milliarden und 90 Milliarden Parametern bieten robuste multimodale Fähigkeiten zur Verarbeitung von Bildern und Text. In Kombination mit der Novita AI-Plattform können diese Modelle bedeutende reale Anwendungen ermöglichen, wie zum Beispiel:
Multimodale Anwendungsfälle
- Interaktive Agenten: Entwickeln Sie KI-Agenten, die sowohl auf Text- als auch auf Bildeingaben reagieren und so ein verbessertes Benutzererlebnis bieten.
- Bildbeschriftung: Erstellen Sie hochwertige Bildbeschreibungen für den Einsatz in E-Commerce, Content-Erstellung und digitaler Barrierefreiheit.
- Visuelle Suche: Ermöglichen Sie Benutzern die Suche mithilfe von Bildern, um die Sucheffizienz in E-Commerce und Einzelhandel zu verbessern.
- Dokumenten-Intelligenz: Analysieren Sie Dokumente, die sowohl Text als auch Bilder enthalten, wie z. B. juristische Verträge und Finanzberichte.
Branchenspezifische Anwendungen
Die Llama 3.2-Endpunkte von Novita AI eröffnen neue Möglichkeiten in verschiedenen Branchen:
- Gesundheitswesen: Verbessern Sie die medizinische Bildanalyse, um die diagnostische Genauigkeit und Patientenversorgung zu steigern.
- Einzelhandel & E-Commerce: Transformieren Sie Einkaufserlebnisse mit bild- und textbasierten Suchen sowie personalisierten Empfehlungen.
- Finanzen & Recht: Optimieren Sie Arbeitsabläufe durch die Analyse grafischer und textlicher Inhalte, und verbessern Sie Vertragsprüfungen und Audits.
- Bildung & Training: Entwickeln Sie interaktive Bildungswerkzeuge, die sowohl Text als auch Bilder verarbeiten, um das Engagement zu steigern.
Erste Schritte: Ihre Reise mit Novita AI
Schritt 1: Wählen Sie Ihr Modell aus
Wählen Sie basierend auf Ihren spezifischen Anforderungen:
- Für Prototyping: Besuchen Sie unsere Llama 3.2 1B Instruct Demo für erste Tests.
- Für Produktionsanwendungen: Experimentieren Sie mit dem Llama 3.2 3B Instruct Modell für erweiterte Fähigkeiten.
- Für visuell-linguistische Aufgaben: Testen Sie multimodale Funktionen in unserer Llama 3.2 11B Vision Instruct Demo.
Oder verwenden Sie unser Python SDK, um Llama-Modelle schnell in Ihre Anwendungen zu integrieren:
Schritt 2: Integrieren und Bereitstellen
Folgen Sie unserem unkomplizierten Integrationsprozess:
- Registrieren Sie sich für ein Novita AI Konto.
- Greifen Sie auf unsere umfassende LLM API Dokumentation zu.
- Implementieren Sie die API-Aufrufe in Ihrer bevorzugten Programmiersprache.
- Testen Sie gründlich in Ihrer Entwicklungsumgebung.
Beispiel mit Python Client
from openai import OpenAI
client = OpenAI(base_url="https://api.novita.ai/v3/openai",api_key="Your API Key",
)
model = "meta-llama/llama-3.2-11b-vision-instruct"stream = True # or Falsemax_tokens = 65500system_content = "Be a helpful assistant"temperature = 1top_p = 1min_p = 0top_k = 50presence_penalty = 0frequency_penalty = 0repetition_penalty = 1response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(model=model,messages=[
{"role": "system","content": system_content,
},
{"role": "user","content": "Hi there!",
}
],stream=stream,max_tokens=max_tokens,temperature=temperature,top_p=top_p,presence_penalty=presence_penalty,frequency_penalty=frequency_penalty,response_format=response_format,extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Beispiel mit JavaScript Client
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "Your API Key",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "meta-llama/llama-3.2-3b-instruct",
stream,
response_format: { type: "text" },
max_tokens: 16384,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Beispiel mit Curl Client
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer Your API Key" \
-d @- << 'EOF'
{
"model": "meta-llama/llama-3.2-3b-instruct",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 16384,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
Schritt 3: Optimieren und skalieren
Maximieren Sie Ihre Implementierung:
- Überwachen Sie Token-Nutzung und Kosten.
- Verfeinern Sie Ihre Prompts für bessere Effizienz.
- Skalieren Sie Ihre Anwendung basierend auf den Leistungsanforderungen.
- Nutzen Sie die umfangreichen Kontextlängen-Fähigkeiten.
Bereit, Ihre KI-Entwicklung zu transformieren?
Besuchen Sie Novita AI noch heute, um mit dem Bau mit Llama 3.2 zu beginnen. Unser Team unterstützt Sie auf Ihrem Weg von Experimenten bis zur Produktionsbereitstellung und stellt sicher, dass Sie das Beste aus diesen leistungsstarken Modellen herausholen.
Ursprünglich veröffentlicht auf Novita AI
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen beflügelt. Integrierte APIs, serverlos, GPU-Instanz – die kosteneffizienten Tools, die Sie brauchen. Verzichten Sie auf Infrastruktur, starten Sie kostenlos und machen Sie Ihre KI-Vision zur Realität.
Empfohlene Lektüre
