关键亮点
- Llama 3 模型概述：Meta 的 Llama 3 系列包含 8B 和 70B 两种尺寸的先进大语言模型（LLM），针对对话任务和文本生成进行了优化。
- 性能评估：Llama 3 在关键基准测试中超越了 Mistral 7B 和 Gemini 1.5 等开源模型，展现了更强的推理和上下文处理能力。
- API 实用性：API 是开发者将先进 LLM 高效集成到应用中的关键连接器，支持轻松扩展和响应定制。
- 知名 API 提供商：Lepton、Fireworks、Novita AI 和 Together AI 等领先提供商为各类应用提供了强大且经济的 AI 解决方案。
- 用户友好流程：Novita AI 为开发者提供了部署 Llama 3 API 的工具和资源，包括实验性 Playground 和简化的密钥管理系统。
介绍
像 Meta 的 Llama 3 这样的大语言模型（LLM）彻底改变了自然语言处理，实现了高级交互和更深层次的软件理解。Llama 3 在对话任务和处理复杂语言挑战方面表现出色。本文将深入探讨 Llama 3 的特性、通过 API 的集成方式，以及像 Novita AI 这样的 API 提供商在无缝部署这些模型中的作用。
Llama 3 模型是什么？
Meta 开发了 Llama 3 系列大语言模型（LLM），包括 8B 和 70B 两种尺寸的预训练和指令调优生成式文本模型。这些指令调优模型针对对话任务进行了优化，在关键行业基准测试中超越了许多开源聊天模型。此外，Meta 在开发过程中优先考虑了有用性和安全性的平衡。
Llama 3 评估
以下是一些模型及其 Open LLM 排行榜 得分。此列表并非详尽无遗，我们鼓励您浏览完整排行榜。请注意，LLM 排行榜特别适用于评估预训练模型，而其他基准测试则关注对话模型。
如何使用 Llama 3？
本仓库包含两个版本的 Meta-Llama-3–8B：一个设计用于 transformers，另一个与原始 Llama 3 代码库兼容。
使用 transformers
参考以下代码片段在 Transformers 中使用：
import transformers
import torch
model_id = "meta-llama/Meta-Llama-3-8B"
pipeline = transformers.pipeline(
pipeline("Hey how are you doing today?")
使用 llama 3
请按照 仓库 中的说明操作。
要下载原始检查点，请参见以下使用 huggingface-cli 的示例命令：
huggingface-cli download meta-llama/Meta-Llama-3-8B --include “original/*” --local-dir Meta-Llama-3-8B
如需 Hugging Face 支持，Meta-Llama 开发者建议使用 Transformers 或 TGI，但类似的命令也能生效。
Meta 的 Llama 3 比 Llama 2 大两倍
Llama 3 具有更强的推理能力，并支持高达 8,000 个 token 的更大上下文窗口，从而在软件开发中更有效地处理复杂的自然语言处理任务。Meta 的 Llama 3 在包含超过 15 万亿个 token 的庞大数据集上进行了训练。
与 Mistral 7B 和 Gemma 7B 对比
Meta 的 Llama 3 8B 模型在 MMLU、ARC 和 DROP 等多个基准测试中，据称优于 Mistral 7B 和 Gemma 7B 等其他开源模型。
与 Gemini 1.5 对比
Meta 的 Llama 3 70B 在 MMLU、HumanEval 和 GSM-8K 等多个基准测试中，表现优于 Gemini 1.5 Pro。
与 GPT-3.5 对比
Meta 的 Llama 3 70B 在专为评估编码、写作、推理和总结技能而设计的自定义测试集上，展现出优于 GPT-3.5 的出色性能。
什么是 API？
API（应用程序编程接口）是数字连接器，允许不同的软件应用程序进行通信和共享数据。它们充当中介，实现各种程序和系统之间的无缝交互。
API 在我们的日常生活中无处不在——无论是使用网约车应用、进行移动支付，还是远程控制智能家居设备。当您使用这些应用时，它们依赖 API 与服务器交换信息、处理请求，并以用户友好的格式在您的设备上呈现结果。
为什么需要 LLM API？
API 为开发者提供了标准化的接口，将大语言模型集成到其应用程序中。这种标准化不仅简化了开发流程，还能确保访问到最新的模型改进。它能够高效扩展任务，并为各种应用选择合适的 LLM。此外，API 的灵活性允许对 LLM 响应进行定制，以满足特定需求，从而增强其在不同场景下的适应性和相关性。
2024 年面向开发者的领先 LLM API 提供商
API 提供商是具有成本效益的云平台，可高效部署机器学习模型。它们通过用户友好的 API、强大的扩展能力和有竞争力的定价，提供无需基础设施即可访问先进 AI 的能力，使 AI 对各类规模的企业都触手可及。在本节中，我们将探讨一些行业领先的 API 提供商。
以 Llama 3 70B 模型为例，以下是一些 API 提供商，各自具有不同的性能指标和成本效益。我们将详细描述每个选项，以帮助开发者做出明智选择。
Lepton
Lepton 是一个 API 提供商，同样支持最大 8,192 个 token 的输出。其输入和输出成本均为 $0.80，延迟为 0.15 秒，吞吐量为 26.02 t/s。
- 优势：Lepton 拥有极低的延迟，非常适合对响应时间要求极高的应用。
- 劣势：但其吞吐量相对较低，可能不适合需要处理大量数据的应用。
Fireworks
Fireworks 是另一个 API 提供商，可处理最大输出 8,192 个 token 的请求。其输入和输出成本均为 $0.90，延迟为 0.24 秒，吞吐量为 142.6 t/s。
- 优势：Fireworks 提供极高的吞吐量，非常适合需要处理大量数据且对成本要求不高的用户。
- 劣势：延迟较高，且成本在四个 API 提供商中最高，可能不适合预算紧张的用户。
Novita AI
Novita AI 是一个云平台，通过集成的 API、无服务器计算和 GPU 实例支持 AI 梦想。它提供经济实惠的成功工具，帮助用户免费启动项目，高效地将 AI 梦想变为现实。
Novita AI 是一个 API 提供商，为处理大量请求提供了高性价比的解决方案，适合预算有限但需要处理大量数据的用户。
- 优势：Novita AI 在处理大量请求时成本较低，非常适合需要广泛数据处理且注重成本的用户。
- 劣势：与其他提供商相比，Novita AI 的延迟为 1.10 秒，可能对需要快速响应的应用构成挑战。
Together AI
Together AI 是另一个 API 提供商，能够处理最大输出 8,192 个 token 的请求。其输入和输出成本均为 $0.792，延迟为 0.36 秒，吞吐量为 47.16 t/s。
- 优势：Together 延迟较低且吞吐量较高，非常适合需要快速处理请求的应用。
- 劣势：其成本略高于 Novita AI，对于预算非常紧张的用户可能需要考虑。
在选择 API 提供商时，请考虑成本、延迟和吞吐量。Novita AI 非常适合预算有限且数据需求大的项目。Lepton 在低延迟应用中表现出色，而 Fireworks 以较高成本和延迟处理海量数据。总体而言，Novita AI 在经济实惠的大规模数据处理方面脱颖而出。
进一步扩展 LLM API，Llama 3 API 通过标准化的 API 为开发者提供高级语言处理能力。这使得语言功能能够无缝集成到各种应用中，增强其交互和分析特性。了解如何在 Novita AI LLM API 平台上使用 Llama 3 API。
使用 Novita AI 的 LLM API 运行 Meta 的 Llama 3
请仔细按照以下结构化步骤，使用 Novita AI 上的 Llama 3 API 构建强大的语言处理应用。本详细指南确保流程顺畅高效，满足寻求先进 AI 平台的现代开发者的期望。
第 1 步： 访问 Novita AI 并登录。
您可以使用 Google 或 GitHub 账户登录，首次登录时会为您创建一个新账户。
或者，您也可以使用电子邮件地址注册。
第 2 步： 管理 API 密钥。
Novita AI 使用 Bearer 认证来验证 API 访问，需要在请求头中包含 API 密钥，例如：Authorization: Bearer {API Key}。
要管理您的密钥，请导航至设置中的“密钥管理”。
第一次登录时会自动创建一个默认密钥，您可以通过点击“+ 添加新密钥”生成更多密钥。
第 3 步： 选择您的模型
Novita AI 提供多种模型，包括 Llama 的多个版本。选择最适合您应用需求的模型，无论是用于聊天补全、文本生成还是其他任务。
以下是我们为 Llama 3 提供的模型：
- meta-llama/llama-3.1–8b-instruct
- meta-llama/llama-3.1–70b-instruct
- meta-llama/llama-3.1–405b-instruct
- meta-llama/llama-3–8b-instruct
- meta-llama/llama-3–70b-instruct
要查看所有可用模型的完整列表，您可以访问 Novita AI LLM Models List。
第 4 步： 探索 LLM API 参考文档，了解 Novita AI 提供的可用 API 和模型。
第 5 步： 选择最适合您需求的模型，然后设置您的开发环境。配置诸如内容、角色、名称和提示等选项，以自定义您的应用程序。
第 6 步： 运行多次测试，验证 API 是否表现一致且满足您的应用要求。
在 Novita AI 的 LLM API 上部署 Llama 3 API 之前，您可以先在 LLM Playground 中试用。我们为开发者提供免费使用积分来体验平台。如有任何建议，欢迎在 Discord 上分享。现在，让我引导您完成入门步骤：
第 1 步： 访问 Playground，导航至“Products”选项卡，选择 Model API，开始探索 LLM API。
第 2 步： 选择最适合您评估需求的 Llama 模型。
第 3 步： 在输入字段中输入您的提示，以从所选模型生成响应。
使用 Python 客户端示例
pip install 'openai>=1.0.0'
聊天补全 API：
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# 获取 Novita AI API 密钥，请参考：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key。
api_key="<YOUR Novita AI API Key>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
补全 API：
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# 获取 Novita AI API 密钥，请参考：https://docs/get-started/quickstart.html#_2-manage-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512
completion_res = client.completions.create(
model=model,
prompt="A chat between a curious user and an artificial intelligence assistant.\
You are a cooking assistant.\
Be edgy in your cooking ideas.\
USER: How do I make pasta?\
ASSISTANT: First, boil water. Then, add pasta to the boiling water. Cook for 8-10 minutes or until al dente. Drain and serve!\
USER: How do I make it better?\
ASSISTANT:",
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in completion_res:
print(chunk.choices[0].text or "", end="")
else:
print(completion_res.choices[0].text)
Llama 3 API 定价
使用 Novita AI，您可以轻松访问和使用行业领先的开源模型，包括大语言模型，以及图像、音频和视频模型。按需付费，无固定成本或隐藏费用。选择最适合您需求的 Novita AI 定价 方案。
结论
Meta 的 Llama 3 模型是大语言模型的重要进步，增强了对话和推理能力。通过 API 集成，该模型改善了各类应用中的用户体验。Novita AI 是关键的 API 提供商，提供 Llama 3 API 以及有效 AI 开发所需的工具。像 Novita AI 这样的平台在满足日益增长的先进 AI 解决方案需求方面至关重要，为开发者在 AI 领域的创新提供了支持。
常见问题解答
Llama 3 如何提高应用程序性能？
Llama 3 通过高效的算法和资源使用提升应用性能，确保更快的计算速度，从而改善用户体验和运营效率。
Llama 3 API 是否能与任意应用程序集成？
Llama 3 API 是 LLM API 的一个专门版本，为开发者提供高级语言处理能力。可能需要自定义以实现最佳集成。
如何免费访问 Llama 3？
如果您倾向于本地设置，Ollama 等工具可以方便地在本地机器上部署 Llama 3 模型，从而允许在个人项目中免费使用。
Llama 3.1 和 Llama 3 有什么区别？
Llama 3.1 在数学和推理能力上优于 Llama 3。例如，在 Meta 的技术博客中，Llama-3.1 (8B) 在 MATH（0-shot, CoT）上得分为 73.0，超过了 Llama-3 的 68.4 分（MATH 5-shot）。
原文发布于 Novita AI
Novita AI 是一个一站式云平台，助力您的 AI 梦想。集成 API、无服务器计算、GPU 实例——您需要的高性价比工具。无需基础设施，免费开始，让您的 AI 愿景成为现实。
推荐阅读
