关键要点
- 生成式 AI 的进步：Meta 的 Llama 3.1 模型在解决问题能力、上下文长度和多语言支持方面相比 Llama 3 有显著改进。
- 模型推荐：Llama 3.1 70B 适合长文本内容和复杂文档分析，而 Llama 3 70B 更适合实时交互。
- LLM API 灵活性：LLM API 允许开发者无缝切换模型，便于直接比较并最大化每个模型的优势。
- 入门指南：提供了通过 Novita AI LLM API 集成 Llama 模型的分步指南，包括注册访问和测试功能。
- 探索机会：用户可以在官方 Llama 3 API 发布之前，在 Novita AI LLM Playground 中尝试更新的 Llama 模型。
简介
生成式 AI 正在见证新颖且富有创意的 Llama 模型。Meta 的最新模型 Llama 3.1 展示了我们取得的进展。此次更新在 Llama 3 的基础上进行了改进，并为多种类型的问题解决任务带来了重大升级。在本博客中，我们将解释 Llama 3 和 Llama 3.1 的主要区别，帮助您为自己的 AI 需求选择最佳选项。
探索从 Meta Llama 3 到 Llama 3.1 的演进
Llama 3 的发布是开源生成式 AI 的重要一步。不过，Meta 看到了改进空间，尤其在上下文长度、多语言支持和安全性方面。这些领域是创建 Llama 3.1 的关键。
通过 Llama 3.1，Meta 解决了这些主要问题，为开发者和研究人员提供更好的工具。这次升级带来了能力的巨大提升，使 Llama 3.1 成为与顶级私有模型竞争的有力选择。
什么是 Llama 3？
Meta 开发并发布了 Meta Llama 3 系列大型语言模型（LLM），包括一组预训练和指令微调的生成文本模型，提供 80 亿和 700 亿参数两种规模。Llama 3 指令微调模型专为对话应用优化，在常见行业基准测试中持续优于许多现有的开源聊天模型。此外，我们在开发这些模型时优先优化了有用性和安全性。
Llama 3 模型提供两种大小——80 亿和 700 亿参数——每种都有预训练和指令微调变体。
什么是 Llama 3.1？
Meta Llama 3.1 系列包含多语言大型语言模型（LLM），包括预训练和指令微调的生成模型，提供 80 亿、700 亿和 4050 亿参数（文本输入/文本输出）。Llama 3.1 指令微调纯文本模型（8B、70B 和 405B）专为多语言对话应用优化，在常见行业基准测试中持续优于许多可用的开源和专有聊天模型。
Llama 3 与 3.1 的主要区别
虽然 Llama 3 和 Llama 3.1 使用相同的密集 Transformer 设计，但它们之间存在几个重要差异。最大的区别之一在于上下文长度。Llama 3.1 拥有大得多的上下文窗口，可以一次处理更多文本。因此，在处理长文档或复杂对话时，它的表现优于 Llama 3。
Llama 3.1 还具有许多重要更新：
- 改进的文本生成：Llama 3.1 的训练得到了优化，意味着它生成的文本更清晰、更相关、更自然。
- 多语言能力：与 Llama 3 相比，Llama 3.1 可以处理更多语言，使其适用于更广泛的任务。
- 强大的安全特性：Llama 3.1 包含更好的安全措施，有助于降低较长上下文窗口可能带来的有害输出风险。
这些更新表明，Llama 3.1 是一个更灵活、更强大的工具，适用于需要高级文本生成和处理能力的开发者。
Llama 模型现已更新至 Llama 3.2。如果您想了解更多关于 Meta Llama 3.2、Llama 3.1 和 Llama 3 之间的区别，可以 点击此处 观看详细的视频说明，或直接点击下方视频。
https://www.youtube.com/embed/JCXsf5aUr2k
在探讨了 Llama 3 和 Llama 3.1 的主要区别之后，我们需要关注一个具体比较：Llama 3 70B 与 Llama 3.1 70B。这一分析将展示它们各自的功能、性能指标和实际应用，使开发者能够根据对话和文本生成需求做出明智的选择。
Llama 3 70B 与 Llama 3.1 70B
在 Llama 3 70B 和 Llama 3.1 70B 之间做选择取决于您的项目需求。如果您需要处理大量上下文、生成长篇内容或解决复杂问题，Llama 3.1 70B 是更好的选择。但如果您更注重速度和效率，那么 Llama 3 70B 依然是一个强有力的选择，它适合快速响应和实时任务。
基本比较
以下是两个模型之间的基本比较。
基准测试比较
Llama 3.1 70B 在大多数基准测试中优于前代产品，有显著改进：
- MMLU（+4 分）：该基准测试评估 STEM、人文学科、社会科学等 57 个学科的表现，问题从初级到高级专业水平不等。它评估了通用知识和解决问题的能力。
- MATH（+17.6 分）：MATH 是一个新数据集，包含 12,500 个具有挑战性的数学问题，专为竞赛设计。
- GSM8K（+2.1 分）：GSM8K 包含 8,500 个高质量、语言多样的小学数学应用题，由人类编写。数据集分为 7,500 个训练问题和 1,000 个测试问题。
- HumanEval（-1.2 分）：这表明编码性能略有下降。该数据集包含 164 个原始编程问题，评估语言理解、算法和基础数学，其中一些问题类似于典型的软件面试题。
总体而言，Llama 3.1 70B 表现更优，尤其在数学推理任务中，同时保持相当的编码能力。
速度比较
团队使用 Keywords AI 的模型游乐场对 Llama 3 70B 和 Llama 3.1 70B 的速度性能进行了测试。
延迟
测试每个模型进行了数百次请求，结果显示延迟存在显著差异。Llama 3 70B 表现出更快的速度，平均延迟为 4.75 秒，而 Llama 3.1 70B 平均为 13.85 秒。近三倍的响应时间差异凸显了 Llama 3 70B 在需要快速实时响应的场景中的优势，使其成为时间敏感型应用的更合适选择，尽管 Llama 3.1 70B 在其他方面有所改进。
TTFT（首 Token 时间）
测试结果显示 TTFT 性能有显著差异。Llama 3 70B 表现出色，TTFT 为 0.32 秒，而 Llama 3.1 70B 落后，为 0.60 秒。这一两倍的速度优势对于需要快速启动响应的应用（如语音 AI 系统）至关重要，因为最小化感知延迟对用户体验至关重要。
吞吐量（每秒 Tokens）
Llama 3 70B 的吞吐量显著更高，每秒处理 114 个 Token，而 Llama 3.1 70B 为每秒 50 个 Token。这一处理速度的显著差异（超过两倍）凸显了 Llama 3 70B 在快速生成文本方面的优越性能，使其更适合需要快速内容生成或实时交互的应用。
模型推荐
Llama 3 70B 和 Llama 3.1 70B 都为 AI 提供了有用的功能。在选择最适合您的模型时，了解它们的优势非常重要。
Llama 3.1 70B
- 最适合：长篇内容生成、复杂文档分析、需要广泛上下文理解的任务、高级逻辑推理，以及受益于更大上下文窗口和输出能力的应用。
- 不适合：需要快速响应的时间敏感型应用、低延迟至关重要的实时交互，或计算资源有限、无法满足模型更高需求的项目。
Llama 3 70B
- 最适合：需要快速响应时间的应用、实时交互、高效编码任务、处理较短文档，以及以计算效率为优先的项目。
- 不适合：涉及非常长文档或超出其 8K 上下文窗口的复杂上下文理解任务、高级逻辑推理问题，或需要处理大量上下文信息的应用。
Reddit 上关于 Llama 3 70B 与 Llama 3.1 70B 的普遍观点如下图所示。
Llama 3 提供更快的响应时间，而 Llama 3.1 在需要更深上下文理解的任务中表现出色。LLM API 的灵活性允许开发者无需复杂配置即可在两个模型之间轻松切换，从而直接比较它们的性能和特性。这帮助开发者利用每个模型的优势并做出明智的决策，在各种用例中发挥其潜力。
在 Novita AI 的 LLM API 中开始使用 Llama 模型
请仔细按照以下详细步骤，使用 Novita AI 上的 Llama 模型 API 构建一个强大的语言处理应用。本综合指南专为确保顺畅、高效的开发流程而定制，满足寻求先进 AI 平台的开发者需求。
**第 1 步：注册 API 访问 **：访问 Novita AI 官方网站并创建账户。然后，导航到 API 密钥管理部分，生成您的 API 密钥。
**第 2 步：查看文档 **：仔细阅读 Novita AI API 文档。
第 3 步：集成 Novita LLM API：将您的 API 密钥输入 Novita AI 的 LLM API 以开始生成简洁摘要。
第 4 步：测试并添加可选功能：处理 API 响应并以用户友好的格式显示。考虑添加主题提取或关键词高亮等功能。
在 Novita AI 的 LLM Playground 中探索 Llama 模型
您也可以在 Llama 3 API 正式发布之前，在 Novita AI LLM Playground 中尝试 Llama 的更新模型。
第 1 步：访问 Playground：导航到“Model API”选项卡并选择“LLM Playground”以开始尝试 Llama 模型。
第 2 步：您可以在 Playground 中选择 Llama 家族中的各种模型。
第 3 步：输入提示并生成：在提供的输入字段中键入您想要的提示。这是您输入文本或问题供模型回答的地方。
结论
总之，了解 Llama 3 和 Llama 3.1 之间的区别可以真正帮助您选择适合需求的模型。Llama 3 有其自身优势，但 Llama 3.1 带来了可能更符合您需求的改进。通过研究主要区别和每个模型的性能，您可以做出符合目标的明智选择。无论您关心速度、准确性，还是它们与 Novita AI 的 LLM API 的配合方式，选择合适的 Llama 模型对于提升您的 AI 能力至关重要。探索功能、比较基准测试并考虑您的用例，以确定哪个版本最适合您。
常见问题
如何访问 Llama 3？
Llama 3 是面向 AI 社区的开源模型，上下文窗口限制为 8,192 个 Token。此限制可能对需要大量文本数据的任务构成挑战。
Llama 3.1 比 GPT-4 更好吗？
如果您在编码任务中优先考虑准确性和效率，Llama 3 可能是更好的选择。
Llama 3.1 是否受限？
用户必须在相关网站、界面或文档中显著显示“Built with Llama”。
Llama 3 可以在本地运行吗？
要简化在本地机器上运行 Llama 3，请使用开源工具 Ollama。它允许用户本地运行大型语言模型，并将其部署在 Docker 容器中以便轻松访问。
原文发布于 Novita AI
Novita AI 是集成的云平台，助力您的 AI 雄心。集成的 API、无服务器、GPU 实例——您所需的经济高效的工具。无需基础设施，免费开始，让您的 AI 愿景变为现实。
推荐阅读
