透過 Novita AI 最新整合的 Meta Llama 3.2 模型，體驗下一代 AI 開發。我們的平台現在提供一系列完善的模型，滿足多元開發需求，同時保持成本效益與卓越效能。
Llama 3.2 的新功能
|||||||
1) 11B 與 90B 模型支援多模態輸入
來源：Meta
- 影像理解：辨識物體、場景與繪圖，並具備 OCR 能力。
- 標題生成與問答：根據視覺內容生成標題並回答問題。
- 視覺推理：分析方程式、圖表與文件，強化視覺推理。
2) 1B 與 3B 純文字模型更小的尺寸
- 新的 SLM（小型語言模型）使用案例：
- 裝置端摘要
- 寫作與翻譯
- 多語言問答
Novita AI 提供的 Llama 3.2 模型
Novita AI 自豪地提供三種強大的 Llama 3.2 變體，每種都針對不同使用案例進行最佳化：
Llama 3.2 1B Instruct：邁向高效 AI 的入門選擇
運用我們最親民的模型改造開發工作流程，擁有驚人的 131,000 個 token 上下文視窗。每個 token 僅需 $0.02/M tokens，為快速原型開發與輕量應用提供卓越價值。立即試用 Llama 3.2 1B Instruct
Llama 3.2 3B Instruct：效能與表現兼具
解鎖更強大的推理能力，中階模型提供 32,768 個 token 上下文長度。具競爭力的定價：輸入 tokens $0.03/M、輸出 tokens $0.05/M，非常適合需要穩定效能的中型應用。立即試用 Llama 3.2 3B Instruct
Llama 3.2 11B Vision Instruct：多模態卓越表現
運用我們先進的視覺模型體驗尖端的多模態處理。支援 131,000 個 token 上下文長度，每個 token $0.06/M，擅長複雜的視覺語言任務。立即試用 Llama 3.2 11B Vision Instruct
以開放原始碼為基礎，推動多模態 AI
Llama 3.2 模型的應用
Llama 3.2 視覺模型（110 億與 900 億參數）提供強大的多模態能力，可處理影像與文字。與 Novita AI 平台整合後，可實現重要的實際應用，例如：
多模態使用案例
- 互動式 Agent：開發可同時回應文字與影像輸入的 AI Agent，提供更佳的使用者體驗。
- 影像標題生成：為電子商務、內容創作與數位無障礙環境建立高品質的影像描述。
- 視覺搜尋：讓使用者以影像進行搜尋，提升電子商務與零售環境的搜尋效率。
- 文件智能：分析包含文字與視覺內容的文件，例如法律合約與財務報告。
特定行業應用
Novita AI 提供的 Llama 3.2 端點為各行業開啟全新可能性：
- 醫療保健：強化醫學影像分析，提升診斷準確性與病人照護。
- 零售與電子商務：透過影像與文字搜尋以及個人化推薦，轉變購物體驗。
- 金融與法律：分析圖形與文字內容，簡化合約審查與稽核等工作流程。
- 教育與培訓：開發可同時處理文字與視覺的互動式教育工具，提升參與度。
開始使用：你的 Novita AI 之旅
第一步：選擇模型
根據具體需求選擇：
- 原型開發：造訪我們的 Llama 3.2 1B Instruct 示範 進行初步測試。
- 生產應用：使用 Llama 3.2 3B Instruct 模型 試用更強的功能。
- 視覺語言任務：在 Llama 3.2 11B Vision Instruct 示範 中測試多模態功能。
或者使用我們的 Python SDK 快速將 Llama 模型整合至你的應用程式：
第二步：整合與部署
按照我們的簡單整合流程進行：
- 註冊 Novita AI 帳戶。
- 存取我們的完整 LLM API 文件。
- 使用偏好的程式語言實作 API 呼叫。
- 在開發環境中徹底測試。
Python 客戶端範例
from openai import OpenAI
client = OpenAI(base_url="https://api.novita.ai/v3/openai",api_key="Your API Key",
)
model = "meta-llama/llama-3.2-11b-vision-instruct"stream = True # or Falsemax_tokens = 65500system_content = "Be a helpful assistant"temperature = 1top_p = 1min_p = 0top_k = 50presence_penalty = 0frequency_penalty = 0repetition_penalty = 1response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(model=model,messages=[
{"role": "system","content": system_content,
},
{"role": "user","content": "Hi there!",
}
],stream=stream,max_tokens=max_tokens,temperature=temperature,top_p=top_p,presence_penalty=presence_penalty,frequency_penalty=frequency_penalty,response_format=response_format,extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
JavaScript 客戶端範例
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "Your API Key",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "meta-llama/llama-3.2-3b-instruct",
stream,
response_format: { type: "text" },
max_tokens: 16384,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Curl 客戶端範例
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer Your API Key" \
-d @- << 'EOF'
{
"model": "meta-llama/llama-3.2-3b-instruct",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 16384,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
第三步：最佳化與擴展
充分發揮你的實作：
- 監控 token 用量與成本。
- 調整提示詞以提升效率。
- 根據效能需求擴展應用程式。
- 善用廣泛的上下文長度能力。
準備好轉變你的 AI 開發了嗎？
立即造訪 Novita AI，開始使用 Llama 3.2 進行建置。我們的團隊隨時準備支援你從實驗到生產部署的整個過程，確保你能充分發揮這些強大模型的潛力。
原文發表於 Novita AI
Novita AI 是全方位雲端平台，助力你的 AI 雄心。整合 API、無伺服器、GPU 實例——你需要的成本效益工具。免除基礎設施煩惱，免費開始，實現你的 AI 願景。
推薦閱讀
