探索 vLLM Llama3，这款终极助手能提升效率、降低成本并带来更多价值。了解它如何革新你的工作流程。
关键亮点
- vLLM Llama3 在使用大型语言模型时提供出色的准确性和成本节约。
- 其架构专注于发挥最佳性能，包含 Docker 容器、API 服务器和 GPU 服务器等关键组件。
- 测试显示，与旧版本相比，推理速度和吞吐量大幅提升。
- LLama3 包含提升效率的更新、软件改进和新技术的集成。
引言
虚拟大型语言模型（LLM）的世界在不断变化。Llama 3 是一个展现可扩展性和效率的优秀模型。人们需要更快的速度和更简便的部署方式。vLLM Llama3 是对这些需求的强力回应。它在提供出色准确性的同时也节省了成本。这篇博文将深入探讨 vLLM Llama3，研究其设计、性能提升以及新增功能。
理解 vLLM Llama3
vLLM Llama3 的核心是一个精心构建的设计，旨在实现卓越性能和可扩展性。它采用分布式系统设计，充分利用了大量计算资源，尤其是 GPU。
此外，vLLM Llama3 的设置注重灵活性和可扩展性，方便与其他工具和系统无缝集成。这样，开发者可以根据自己的特定需求调整部署方案。
什么是 VLLM？
vLLM 是一个高性能库，专门用于促进 LLM 的推理和服务。它的特点是注重速度、效率和成本效益，为众多开发者提供了易访问的解决方案。
为什么要使用 VLLM？
- 高吞吐量： vLLM 实现了最先进的服务吞吐量，能够处理大量请求。
- 内存管理： 引入 PagedAttention，一种用于高效管理注意力键值内存的高级机制。
- 持续批处理： vLLM 支持对传入请求进行持续批处理，从而提高模型的整体吞吐量和效率。
- 无缝集成： vLLM 提供了部署 Llama 3 等 LLM 的流程，允许轻松集成到现有系统和应用程序中。
- API 兼容性： 包含一个兼容 OpenAI 的服务器，确保可以轻松集成到使用 OpenAI API 的现有系统中。
- 量化支持： VLLM 使用 GPTQ、AWQ、SqueezeLLM 和 FP8 KV Cache 等量化技术，使模型能够以较低精度高效运行而不影响性能。
- 可扩展性： VLLM 支持针对各种用例（如客户支持和摘要）的扩展部署，并能有效适应不同的部署规模。
什么是 Llama 3？
LLaMA 3 由 Meta 开发，这一高级语言模型系列旨在增强 AI 在理解和生成类人文本方面的能力。它基于之前的版本 Llama 2，利用大型数据集和先进架构实现更高的准确性和更细腻的文本生成。Llama 3 设计多功能，适用于研究、内容创作等各个领域的应用。
Llama 3 有多个版本：Llama 3 8B、Llama 3 8B-Instruct、Llama 3 70B、Llama 3 70B-Instruct。Llama 3 8B Instruct 优于 Gemma 7b-it、Mistral 7B Instruct，而 Llama 3 70B Instruct 则表现出比 Gemini 和 Claude 更好的性能。
Llama 3 的关键特性
- 更高的准确性： Llama 3 比以前的模型更准确，尤其是 700 亿参数版本（Llama 3 70B）。它在聊天交互、代码生成、摘要和检索增强生成方面表现出色。
- 更多训练数据： Llama 3 受益于更多的训练数据，包括多样化的文本来源和语言。
- 先进技术： 该模型使用 OpenAI 的 Tiktoken 分词器和数据并行化等技术来提高效率。
- 资源分配： Llama 3 利用新的扩展定律改进性能预测和资源分配，最大限度地提高计算效率并减少运行时间。
- 多功能性： Llama 3 的增强使其非常适合电子商务、金融、医疗和教育等各个领域的应用。
- 可扩展性与维护： Llama 3 配备高级训练堆栈，用于自动错误检测、处理和维护，确保可用性和可扩展性。
Llama 3 模型的性能与成本效益
技术特性与性能
Llama 3 8B
- 参数：80 亿
- 上下文长度：8K 个 token
- 训练数据：15T 个 token
Llama 3 70B
- 参数：700 亿
- 上下文长度：8K 个 token
- 训练数据：15T 个 token
这两个版本在最新的 Llama 3.1 405B 之前发布。
以下是基础预训练模型的性能图表。
以下是指令调优模型的性能，这些模型经过微调，能更好地理解并遵循人类提供的指令。
Llama 3 成本效益
在分析性能之后，我们需要考虑实际成本。以 llama 3 8b 为例，客户支持的部署成本如下。
作为极具成本效益的选择，Novita AI 提供 meta-llama/llama-3–8b-instruct 和 meta-llama/llama-3–70b-instruct，输入和输出 token 价格不超过 1 美元/M。你可以在 LLM 模型 API 上查看更多模型。
我们还提供最新版本 meta-llama/llama-3.1–405b-instruct。最近我们将 Llama 3.1 405B 的价格降至 ** 每百万 token 2.75 美元**！
开始使用 VLLM Llama 3
技术前提
开始之前请确保满足以下要求：
- 一台配有兼容 GPU（例如 Novita AI 提供的 NVIDIA A100）的服务器。
- 在系统正确目录中安装 Python。
- 确保能够访问顺畅的网络。
部署 vLLM Llama 3
1. 安装 vLLM：在服务器上设置 vLLM 环境。你可以使用 pip 安装 vLLM，例如：
pip install vllm
2. 加载模型：将 Llama 3 8B 模型加载到 vLLM 中：
from vllm import LLM
model = LLM("meta-llama/Meta-Llama-3–8B-Instruct")
3. 运行 LLM 推理：使用模型进行推理：
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3–8B-Instruct")
messages = [{"role": "user", "content": "What is the capital of France?"}]
formatted_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
output = model.generate(formatted_prompt)
print(output)
高级技巧
- 定制 Llama3 服务对于满足各种需求至关重要。该框架允许在资源配置和模型参数等方面灵活配置。
- 通过调整 API 参数，开发者可以针对不同用例定制模型的行为和输出。
- 自动调优在机器学习中至关重要。vLLM Llama3 利用这项技术，通过 AI 和 ML 算法自动调整设置来提升性能。这种反馈循环不断优化延迟和吞吐量等因素，无需人工干预即可达到最佳用户性能。
- 你也可以使用 Docker 镜像来提高效率。通过量化等技术进一步提升性能。
开发者利用 Llama 3 的指南：LLM API
部署 Llama 3 很复杂。为了有效利用 Llama 3，开发者需要了解其功能和 API。我们推荐使用 Novita AI 进行经济高效的 LLM API 集成，这个 AI API 平台配备了特色模型和实惠的 LLM 解决方案。
使用 Novita AI API 入门
- 步骤 1：进入 Novita AI 并创建账户。你可以使用 Google 或 GitHub 登录。首次登录将创建一个新账户。也可以使用电子邮件地址注册。
- **步骤 2：管理 API 密钥 **。Novita AI 使用请求头中的 API 密钥进行 Bearer 认证以验证 API 访问。前往 “密钥管理” 管理你的密钥。首次登录时，会自动创建一个默认密钥。你也可以点击 “+ 添加新密钥”。
- 步骤 3：发起 API 调用。在后端输入你的 API 密钥以继续后续任务。
以下是使用 Novita AI 聊天补全 API 的 Python 客户端示例。
pip install 'openai>=1.0.0'
from openai import OpenAIclient = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# 获取 Novita AI API 密钥，参考：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<你的 Novita AI API 密钥>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # 或 False
max_tokens = 512chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "扮演一个乐于助人的助手。",
},
{
"role": "user",
"content": "你好！",
}
],
stream=stream,
max_tokens=max_tokens,
)if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
更多信息，请访问 模型 API 参考。
- **步骤 4：充值积分 **。如第一步所述，你拥有一张包含积分的代金券可用于试用我们的产品，但数量有限。如需增加积分，请访问 ** 账单与支付 ** 并按照 ** 支付方式** 指南操作。
结论
总之，vLLM Llama3 是一个出色的解决方案，既能简化工作又能降低成本。通过了解其工作原理、优化性能并跟上部署要求的更新，开发者能够充分利用它的优势。Llama3 模型持续改进，充分体现了对质量的承诺。凭借前瞻性的计划和先进的调优方法，vLLM Llama3 引领了 AI 和 ML 技术的创新。请关注新功能和长期计划，这些将塑造模型服务的未来。
常见问题
vLLM 和 TGI 有什么区别？
VLLM 是一个开源的 LLM 推理和服务引擎，使用 PagedAttention 内存分配算法。它比 Hugging Face Transformers 提供高达 24 倍的吞吐量，比 Hugging Face Text Generation Inference 提供高达 3.5 倍的吞吐量。
vLLM 的批处理是如何工作的？
根据 vLLM 的文档，它们使用持续批处理，允许在生成 token 时动态调整批量大小。
Llama 3 免费吗？
Llama 3 是开源且免费可用的。但对于其 API 的使用，输入和输出 token 可能需要大约 0.1 美元/M。
我可以将 Llama 3 用于商业用途吗？
最新版本 Llama 3 受“Meta LLama 3 社区许可协议”保护，允许用于几乎所有商业目的。企业利用 Llama3 生成教育内容、提供医疗信息等。
Novita AI 是一个一体化云平台，为您的 AI 愿景赋能。集成 API、无服务器、GPU 实例——您所需的成本效益工具。无需基础设施，免费开始，让您的 AI 愿景变为现实。
推荐阅读
