关键亮点
- 先进的大语言模型： Meta AI 推出 Llama 3，这是一套具备多语言、编程、推理和工具使用能力的高级语言模型。
- 增强的能力： Llama 3 包含升级的分词器、分组查询注意力（GQA）、扩展数据集、先进的过滤技术，并致力于负责任地开发。
- 分词器升级： Llama 3 将词表大小增加到 128,256 个令牌，提高了多语言文本编码效率，并将参数数量扩展到 80 亿。
- 最先进的性能： Llama 3 的 8B 和 70B 参数模型为 LLM 树立了新标杆，在预训练和后训练方面取得了显著进步。
- 赋能开发者： Meta AI 希望通过为 Llama 3 提供自定义选项来赋能开发者，包括新的信任与安全工具，以及与 Hugging Face 等平台的集成。
- Novita AI 上的 LLM API： 开发者可以通过 Novita AI 的 LLM API 提供的简化界面访问和利用 Llama 3 的功能。
引言
Meta AI 的 Llama 3 标志着大语言模型（LLM）的重大进步，在多语言能力、推理和编码方面提升了标准。在 Llama 2 的基础上，它引入了增强的分词器和分组查询注意力（GQA）等关键特性。本文重点介绍 Llama 3 的创新，探讨其实际应用，并提供将 Llama 3 与 Novita AI 的 LLM API 集成的指南。
探索 Llama 3 论文的核心概念
Llama 3 论文介绍了 Meta AI 开发的先进大语言模型，增强了多种语言的自然语言处理能力。其创新之处包括增强的分词器、GQA 机制、扩展的训练数据集、先进的过滤技术，以及致力于负责任地开发。这些进步重新定义了 AI 的能力，并为大语言模型的使用设立了新标准。
Llama 3 先进模型简介
Llama 3 是一套支持多语言、编程、推理和工具使用的语言模型。最大的模型是一个拥有 4050 亿参数的密集 Transformer，上下文窗口可达 128,000 个令牌。Llama 3 在各种任务上可与 GPT-4 等领先语言模型的质量相媲美。Meta AI 正在公开发布 Llama 3，包括 4050 亿参数模型的预训练和后训练版本，以及输入输出安全模型 Llama Guard 3。
Llama 3 的目标
Meta AI 的 Llama 3 旨在创建顶级开放模型，与专有模型竞争。通过整合开发者反馈，Meta AI 增强了 Llama 3 的可用性，并倡导在大语言模型（LLM）中采用负责任的做法。这些基于文本的模型的早期发布鼓励了社区参与。Llama 3 将扩展多语言和多模态功能、更长的上下文支持，以及改进的核心能力，如推理和编码。
Llama 2 与 Llama 3 的关键区别
Llama 3 引入了一个新的分词器，将词表大小从 32K 令牌增加到 128,256。这提高了多语言能力的文本编码效率。然而，这也扩大了输入和输出嵌入矩阵，使得参数数量从 Llama 2 的 70 亿增加到 Llama 3 的 80 亿。
此外，8B 版本的模型现在采用了分组查询注意力（GQA），这是一种旨在更好地处理较长上下文的高效表示方法。
如何使用 Llama 3 进行构建？
Meta AI 的愿景是让开发者能够为相关用例自定义 Llama 3，从而促进最佳实践的采用并增强开放生态系统。本次发布包含了新的信任与安全工具，例如更新的 组件，其中包括 Llama Guard 2、Cybersec Eval 2，以及新引入的 Code Shield——一种用于过滤 LLM 生成的不安全代码的护栏。
Llama 3 与 torchtune 共同开发，这是一个新的 PyTorch 原生库，旨在简化 LLM 的编写、微调和实验。Torchtune 提供了完全在 PyTorch 中实现的内存高效训练方案，并与 Hugging Face、Weights & Biases 和 EleutherAI 等平台集成。它还支持用于移动和边缘设备高效推理的 Executorch。有关提示工程以及将 Llama 3 与 LangChain 结合使用的指导，Meta AI 提供了全面的 ** 入门指南**，涵盖了从下载 Llama 3 到在生成式 AI 应用中大规模部署的所有内容。
大规模部署 Llama 3
Llama 3 现已在主要平台上可用，包括云提供商和模型 API 提供商。有关如何利用所有这些功能的示例，请参阅 Llama Recipes，其中包含 Meta AI 的所有开源代码。
了解 Llama 模型系列
Llama（Large Language Model Meta AI，以前风格化为 LLaMA）是 Meta AI 开发的一系列自回归大语言模型（LLM），最初于 2023 年 2 月发布。最新版本是 Llama 3.2，于 2024 年 9 月推出。
Llama 系列中有哪些模型？
以下是 Novita AI 中可用的 Llama 系列模型。如果你对任何模型感兴趣，欢迎直接点击尝试。
- meta-llama/llama-3.1–8b-instruct
- meta-llama/llama-3.1–70b-instruct
- meta-llama/llama-3.1–405b-instruct
- meta-llama/llama-3–8b-instruct
- meta-llama/llama-3–70b-instruct
模型对比
训练成本列仅反映最大模型的成本。例如，‘21,000’表示 Llama 2 69B 的训练成本，以 petaFLOP-days 为单位。澄清一下，1 petaFLOP-day 等于 1 petaFLOP/秒乘以 1 天，即 8.64E19 FLOP。
使用 Llama 3 实现最先进的性能
Meta AI 新的 8B 和 70B 参数 Llama 3 模型代表了相比 Llama 2 的重大进步，为这些规模的 LLM 设立了新标杆。凭借预训练和后训练的增强，预训练和指令微调后的模型现在已成为 8B 和 70B 参数级别中领先的选择。后训练流程的改进显著降低了错误拒绝率，增强了对齐性，并增加了模型响应的多样性。此外，Llama 3 展现了在推理、代码生成和指令遵循方面的极大提升的能力，使其比以往更易于控制。
在开发 Llama 3 时，Meta AI 专注于模型在标准基准上的性能，同时优化实际应用。为此，他们创建了一个新的高质量人工评估集，包含 1,800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、角色扮演、开放式问答、推理、改写和摘要。为了避免无意中的过拟合，甚至 Meta AI 的建模团队也无法访问这个评估集。下图显示了这些类别和提示中人工评估的汇总结果，将 Llama 3 与 Claude Sonnet、Mistral Medium 和 GPT-3.5 进行了比较。
基于该评估集的人工标注者偏好排名显示，Meta AI 的 70B 指令遵循模型在实际场景中的性能优于类似大小的竞争模型。
Llama 3 论文突显了 Meta 在大语言模型方面的进步。将这些创新有效应用于现实场景至关重要。Novita AI 上的 LLM API 为开发者提供了一个简化的界面，基于 Llama 3 论文的见解来访问和利用这些强大模型。了解如何使用 Novita AI 上的 LLM API 将 Llama 3 的功能集成到你的应用中。
如何在 Novita AI 上使用 LLM API 进行模型集成
在 Novita AI 上集成 LLM API 是一个简单的过程，使开发者能够利用大语言模型（包括 Llama 3 系列）的强大功能。以下是帮助你入门的逐步指南。
第 1 步： 创建账户并访问 Novita AI。
第 2 步： 获取你的 API 密钥
你需要一个 API 密钥来认证你的请求。你可以按照 Novita AI 文档中概述的说明来管理你的 API 密钥。请确保你的 API 密钥安全，并避免在公共代码仓库中暴露它。
第 3 步： 选择你的模型
Novita AI 提供多种模型，包括不同版本的 Llama。你可以在此处查看可用模型的完整列表。选择最适合你应用需求的模型，无论是用于聊天补全、文本生成还是其他任务。
如果你想查看我们提供的完整模型列表，可以访问 Novita AI LLM 模型列表。
第 4 步： 访问 LLM API 参考 来探索 Novita AI 提供的 API 和模型。
第 5 步： 选择适合你需求的模型，然后设置你的开发环境并配置内容、角色、名称和提示等选项。
第 6 步： 运行多个测试以确保 API 表现一致。
通过遵循这些步骤，你可以有效地在 Novita AI 上集成 LLM API，从而能够在你的应用中利用像 Llama 3 这样的高级语言模型的力量。
在 Novita AI 的 LLM Playground 中尝试 Llama 3
在 Novita AI 上部署 LLM API 之前，你可以在 LLM Playground 中试用。开发者可以获得免费使用额度。现在，我将引导你完成入门步骤。
第 1 步： 访问 Playground：导航到 Products 选项卡，选择 Model API，然后开始探索 LLM API。
第 2 步： 选择一个模型：选择最适合你评估需求的 Llama 模型。
第 3 步： 输入你的提示：在输入字段中输入你的提示，以生成模型的响应。
结论
Llama 3 是一种先进的大语言模型，在文本生成、编码和多语言处理方面表现出色。通过 Novita AI 的 LLM API，开发者可以充分利用其潜力来应对各种应用。随着 Meta AI 不断推动 AI 研究的边界，Llama 3 引领着开源 AI 的未来，促进创新并扩大对先进模型的访问。无论是用于实验还是大规模部署，Llama 3 都为你提供了增强 AI 项目所需的工具。
常见问题
Llama 3 与之前的模型有何不同？
Llama 3 在图像和语音识别方面表现出色，具有更大的规模、更高的效率以及与其他模型的无缝集成。
实施 Llama 3 技术的主要挑战是什么？
实施 Llama 3 技术需要充足的计算机能力，因为模型规模较大。获取多样化、高质量的训练数据对于获得最佳性能和减少偏差至关重要。
Llama 3 可以应用于非英语语言吗？
Llama 3 在多种语言中表现出色，利用多样化的训练数据有效学习不同语言的模式。
Llama 3.1 和 Llama 3 有什么区别？
Llama 3.1 支持文本输入和输出，而 Llama 3 限于纯文本交互，不具备多模态能力。
Llama 3.1 是多模态的吗？
Llama 3.1 不是多模态的；它只处理文本。
原文发布于 Novita AI
Novita AI 是一个一体化云平台，助力您的 AI 抱负。集成 API、无服务器、GPU 实例——您所需的经济高效工具。免除基础设施烦恼，免费开始，让您的 AI 愿景成为现实。
