体验 Novita AI 与 Meta Llama 3.2 模型最新集成带来的下一代 AI 开发能力。我们的平台现提供一套全面的模型，旨在满足多样化的开发需求，同时保持成本效益和卓越性能。
Llama 3.2 的新特性
|||||||
1) 11B 和 90B 模型中的多模态输入
来源：Meta
- 图像理解：识别对象、场景和绘画，并具备 OCR 能力。
- 字幕生成与问答：根据视觉内容生成描述并回答问题。
- 视觉推理：分析方程式、图表和文档，增强视觉推理能力。
2) 1B 和 3B 纯文本模型的更小尺寸
- 新的 SLM（小型语言模型）用例：
- 设备端摘要
- 写作和翻译
- 多语言问答
Novita AI 上可用的 Llama 3.2 模型
Novita AI 自豪地提供三种强大的 Llama 3.2 变体，每种都为不同的用例进行了优化：
Llama 3.2 1B Instruct：高效 AI 入门之选
使用我们最易访问的模型转换您的开发工作流程，该模型拥有惊人的 131,000 令牌上下文窗口。仅需 $0.02/M 令牌即可获得卓越价值，适合快速原型设计和轻量级应用。立即尝试 Llama 3.2 1B Instruct
Llama 3.2 3B Instruct：性能与实力并存
使用我们的中端模型解锁增强的推理能力，提供 32,768 令牌的上下文长度。输入令牌 $0.03/M 和输出令牌 $0.05/M 的竞争性定价，使其非常适合需要稳健性能的中等规模应用。立即尝试 Llama 3.2 3B Instruct
Llama 3.2 11B Vision Instruct：多模态卓越之选
使用我们先进的视觉模型体验最先进的多模态处理。支持 131,000 令牌上下文长度，价格为 $0.06/M 令牌，在复杂的视觉语言任务中表现出色。立即尝试 Llama 3.2 11B Vision Instruct
基于开源基础推进多模态 AI
Llama 3.2 模型的应用
拥有 110 亿和 900 亿参数的 Llama 3.2 视觉模型，提供了强大的多模态能力，可处理图像和文本。当与 Novita AI 平台集成时，这一组合可以解锁重要的实际应用，例如：
多模态用例
- 交互式代理：开发能够响应文本和图像输入的 AI 代理，提供增强的用户体验。
- 图像描述生成：为电子商务、内容创作和数字无障碍创建高质量图像描述。
- 视觉搜索：允许用户使用图像进行搜索，提高电子商务和零售场景中的搜索效率。
- 文档智能：分析包含文本和视觉内容的文档，如法律合同和财务报告。
行业特定应用
Novita AI 的 Llama 3.2 端点为各行各业开辟了新的可能性：
- 医疗保健：增强医学图像分析，提高诊断准确性和患者护理水平。
- 零售与电子商务：通过基于图像和文本的搜索以及个性化推荐，转变购物体验。
- 金融与法律：通过分析图形和文本内容简化工作流程，优化合同审查和审计。
- 教育与培训：开发处理文本和视觉的交互式教育工具，提升参与度。
开始使用：您的 Novita AI 之旅
步骤 1：选择您的模型
根据您的具体要求进行选择：
- 用于原型设计：访问我们的 Llama 3.2 1B Instruct 演示 进行初步测试。
- 用于生产应用：尝试 Llama 3.2 3B Instruct 模型 以获得增强能力。
- 用于视觉语言任务：在我们的 Llama 3.2 11B Vision Instruct 演示 中测试多模态功能。
或者使用我们的 Python SDK 将 Llama 模型快速集成到您的应用程序中：
步骤 2：集成和部署
遵循我们简单的集成流程：
- 注册 Novita AI 账户。
- 访问我们全面的 LLM API 文档。
- 用您偏好的编程语言实现 API 调用。
- 在开发环境中进行彻底测试。
Python 客户端示例
from openai import OpenAI
client = OpenAI(base_url="https://api.novita.ai/v3/openai",api_key="Your API Key",
)
model = "meta-llama/llama-3.2-11b-vision-instruct"stream = True # or Falsemax_tokens = 65500system_content = "Be a helpful assistant"temperature = 1top_p = 1min_p = 0top_k = 50presence_penalty = 0frequency_penalty = 0repetition_penalty = 1response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(model=model,messages=[
{"role": "system","content": system_content,
},
{"role": "user","content": "Hi there!",
}
],stream=stream,max_tokens=max_tokens,temperature=temperature,top_p=top_p,presence_penalty=presence_penalty,frequency_penalty=frequency_penalty,response_format=response_format,extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
JavaScript 客户端示例
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "Your API Key",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "meta-llama/llama-3.2-3b-instruct",
stream,
response_format: { type: "text" },
max_tokens: 16384,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Curl 客户端示例
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer Your API Key" \
-d @- << 'EOF'
{
"model": "meta-llama/llama-3.2-3b-instruct",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 16384,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
步骤 3：优化和扩展
最大化您的实现效果：
- 监控令牌使用量和成本。
- 优化提示以提高效率。
- 根据性能需求扩展应用程序。
- 充分利用扩展的上下文长度能力。
准备好变革您的 AI 开发了吗？
立即访问 Novita AI，开始使用 Llama 3.2 构建。我们的团队随时准备支持您从实验到生产部署的整个旅程，确保您充分利用这些强大模型。
原文发表于 Novita AI
Novita AI 是一体化云平台，助力您的 AI 雄心。集成 API、无服务器、GPU 实例——您所需的低成本工具。无需基础设施，免费开始，让您的 AI 愿景成为现实。
推荐阅读
