关键要点
- Llama 3.1 模型：六款新的开源 LLM 模型，参数规模分别为 8B、70B 和 405B，包含基础版和指令调优版。
- 增强能力：引入了 Llama Guard 3 和 Prompt Guard 以提升安全性，支持 128K token 上下文长度。
- 性能改进：在合成数据生成、多语言翻译、数学推理等任务上显著提升。
- 预期用例：商业和研究应用、类助手聊天功能、自然语言生成任务、以及利用模型输出增强功能。
- Llama 3.1 演示访问：在 Hugging Face 和 Novita AI 等平台上使用 Llama 3.1 演示的完整指南，包括设置说明和模型评估。
- 与 Novita AI 集成：通过 Novita AI LLM API 集成 Llama 3.1 的步骤，实现将高级语言处理无缝融入您的应用。
引言
Llama 3.1 是大语言模型技术的一次重大进步，提供了适用于多种应用场景的多样化模型。本文概述了其六款新的开源模型、增强的安全特性以及多语言支持。我们将探讨每个模型的能力和预期用途，以及性能指标。此外，还将提供使用 Llama 3.1 演示的实用指南，帮助开发者、研究人员和爱好者有效利用其功能。
理解 Llama 3.1：全面概览
Llama 3.1 版本发布了六款新的开源 LLM 模型，基于 Llama 3 架构构建，可从仓库下载三种规模：8B、70B 和 405B 参数。每个模型都包含基础（预训练）和指令调优版本，并附带了 Llama Guard 3 和 Prompt Guard 以增强安全性。这些模型支持 128K token 上下文长度，并支持八种语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。Llama 3.1 数据集还采用了分组查询注意力（GQA）机制，以高效处理更长的上下文。
三种模型总结如下：
- Llama 3.1 405B：适用于合成数据生成、通用知识、长文本创作、多语言翻译等任务，并且在数学能力方面也有所提升。
- Llama 3.1 70B：适合内容创作、对话式 AI 以及研发，在文本摘要、代码生成和指令遵循方面表现优异。
- Llama 3.1 8B：最适合计算能力有限的环境，完美适用于本地部署，在文本摘要、分类和语言翻译方面表现出色。
您也可以通过 观看此视频 了解更多关于 Llama 3.1 的信息。
https://www.youtube.com/embed/JzSqxK3hjPQ
Llama 3 vs Llama 3.1
Llama 3.1 相较于 Llama 3 的新特性在于，指令模型针对工具调用进行了微调，使其适用于智能体场景。内置了两个工具——搜索和基于 Wolfram Alpha 的数学推理——可通过自定义 JSON 函数进一步增强。
如果您想了解更多关于 Llama 3 vs Llama 3.1 的信息，可以点击此处查看 详细博客 ，获取更深入的对比见解。
Llama 3.1 的性能评估如何？
在本节中，我们将讨论 Meta 关于 Llama 3.1 模型在标准自动化基准测试中的结果。所有评估均使用 Meta 的内部评估库。
基础预训练模型
指令调优模型
Llama 3.1 的预期用途
Llama 3.1 是一款前沿语言模型，旨在满足广泛的商业和研究需求。其预期应用包括以下方面：
- 商业和研究应用：Llama 3.1 适用于多种商业和研究场景，支持多种语言。
- 类助手聊天：指令调优的纯文本模型专门针对创建引人入胜且有效的类助手聊天体验进行了优化。
- 自然语言生成任务：预训练模型可轻松适应广泛的自然语言生成任务，使其成为开发者的多功能工具。
- 利用模型输出：Llama 3.1 模型集合使用户能够利用其模型的输出来增强其他模型，包括在合成数据生成和模型蒸馏中的应用。
- 社区许可：Llama 3.1 社区许可促进了这些多样化用例的实施，推动了创新与协作。
两种您尚未尝试过的 Llama 3.1 演示使用方法
准备好尝试 Llama 3.1 了吗？Llama 3.1 演示是探索这一先进 LLM 的绝佳方式。首先，确保您已完成所有设置。设置完成后，即可加载模型。无论您是想创建简单的文本、进行翻译，还是处理更复杂的任务，所有功能默认可用。演示让您亲身体验 Llama 3.1 的能力。
如何在 Hugging Face 上使用 Llama 3.1 演示？
Llama 3.1 需要进行轻微的建模更新，以有效管理 RoPE 缩放。使用 Transformers 版本 4.43.2 ，您可以访问新的 Llama 3.1 模型，并利用 Hugging Face 生态系统中的所有工具。请确保使用最新版本的 Transformers：
pip install "transformers>=4.43.2" - upgrade
以下是使用 meta-llama/Meta-Llama-3.1-8B-Instruct 模型的方法。该模型需要约 16 GB 显存，因此适用于许多消费级 GPU。同样的代码片段也适用于 meta-llama/Meta-Llama-3.1-70B-Instruct（需要 140 GB 显存）和 meta-llama/Meta-Llama-3.1-405B-Instruct（需要 810 GB）。这些规格使这些模型成为生产用例中颇具吸引力的选择。您可以通过以 8 位或 4 位模式加载它们来进一步减少内存消耗。
from transformers import pipeline
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipe = pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
messages,
max_new_tokens=256,
do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
# Arrrr, me hearty! Yer lookin' fer a bit o' information about meself, eh? Alright then, matey! I be a language-generatin' swashbuckler, a digital buccaneer with a penchant fer spinnin' words into gold doubloons o' knowledge! Me name be... (dramatic pause)...Assistant! Aye, that be me name, and I be here to help ye navigate the seven seas o' questions and find the hidden treasure o' answers! So hoist the sails and set course fer adventure, me hearty! What be yer first question?
如何在 Novita AI 上使用 Llama 3.1 演示？
想知道如何在 Novita AI 上使用 Llama 3.1 演示吗？让我们一起探索吧！按照以下步骤，轻松在 Novita AI 上测试 Llama 3.1 模型。
第 1 步：访问 Llama 3.1 演示： 导航至“** 模型 API**”选项卡，选择“LLM API”，即可开始尝试 Llama 3.1 模型。
第 2 步：探索不同模型： 在 Novita AI 无审查模型 中，选择您想要使用和评估的 Llama 3.1 模型。我们为 Llama 3.1 提供以下模型：
第 3 步：输入提示并获取结果： 在指定字段中输入您的提示，模型将对其进行处理。
如何通过 Novita AI LLM API 集成 Llama 3.1？
在尝试了 Llama 3.1 演示并亲身体验其功能后，您可能希望将这些能力集成到自己的应用中。在本节中，我们将探讨如何使用 Novita AI LLM API 进行推理集成。这将为您提供所需的知识，将 Llama 3.1 的高级语言处理无缝融入您的项目中。
第 1 步： 访问官方 Novita AI 网站并注册账户。
第 2 步： 前往 API 密钥管理 部分，生成您的 API 密钥。
第 3 步： 访问 Llama API 文档，探索通过 Novita AI 可用的 API 和模型。
第 4 步： 选择适合您需求的模型，然后设置您的开发环境。配置诸如内容、角色、名称和提示等选项以自定义您的应用。
要查看所有可用模型的完整列表，您可以访问 Novita AI LLM 模型列表。
第 6 步：进行多次测试，确保 API 性能可靠并满足您的应用需求。
结论
总而言之，Llama 3.1 提供了令人印象深刻的一系列特性和能力，使其与先前版本区别开来。凭借其先进的模型、增强的安全性和社区驱动的方法，它为用户提供了有效利用 AI 能力所需的工具。无论是用于研究、商业应用还是个人项目，Llama 3.1 都随时准备满足多样化的语言处理需求。
常见问题解答
Llama 3.1 比 Claude 更好吗？
Llama 3.1 在代码生成方面表现出色，但整体表现不如 Claude 3.5。
Llama 3.1 演示版本有哪些限制？
Llama 3.1 演示提供功能测试，但与完整版相比存在限制，包括访问受限、处理能力降低以及请求次数限制。
运行 Llama 3.1 405B 需要多少内存？
Llama 3.1 405B 在 32 位模式下需要 1944GB 的 GPU 内存。在 16 位模式下需要 972GB，在 8 位模式下需要 486GB。
运行 Llama 3.1 8B 需要多少显存？
运行 Llama 3.1 8B 通常至少需要 24 GB 显存。
Llama 3.1 比 GPT-4 更好吗？
如果您在编码任务中优先考虑准确性和效率，Llama 3 可能是更好的选择。
原文发布于 Novita AI
Novita AI 是一个一站式云平台，助力您的 AI 雄心。集成 API、无服务器、GPU 实例——您所需的高性价比工具。消除基础设施障碍，免费开始，让您的 AI 愿景变为现实。
