如何本地或通过 API 访问 Llama 3.3 70b：完整指南

关键亮点

1. 卓越性能：Llama 3.3 70b 是 Meta 推出的强大模型。它在指令跟随和多语言推理等任务中表现出色。

2. 如何本地访问 llama 3.3 70b：要本地运行 Llama 3.3 70b，你需要一块强大的 GPU（最低 24GB VRAM）、至少 32GB 内存和 250GB 存储空间，以及特定的软件。

3. 如何通过 API 访问 llama 3.3 70b：Novita AI 为 Llama 3.3 70b 提供 API，** 输入和输出均为每百万 token 仅 $0.39**。只需注册免费试用，通过简单请求使用 API 即可。

4. 使用建议：不同用户需求各异：研究人员可能偏爱本地安装，而企业及普通用户可能会发现 API 访问更便捷、更具成本效益。

在快速演进的人工智能领域，Meta 的 Llama 3.3 70b 凭借其强大的功能和灵活性，成为一款卓越的多语言大语言模型。它能在保持可管理计算资源的同时执行多种基于文本的任务，为开发者和研究人员提供了可行选择。本文提供如何访问 Llama 3.3 70b 的完整指南，详细介绍本地安装和 API（例如 Novita AI）两种方式，以满足不同用户需求。

什么是 Llama 3.3 70b？

Llama 3.3 70b 是 Meta 最新的 多语言大语言模型 (LLM)，专为各种基于文本的任务设计。拥有 700 亿参数，其性能可媲美更大的 Llama 3.1 405B 模型，同时大幅降低了计算需求，使开发者更容易使用。

主要特性

• 多语言支持：Llama 3.3 70b 原生支持八种语言：英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。通过适当的微调，也可支持其他语言。
• 先进架构：采用优化的 Transformer 架构，结合分组查询注意力 (GQA)，提升效率和可扩展性。
• **超长上下文长度 **：支持 128k token 的上下文长度，适用于处理长文本。
• 环保训练：Meta 在模型训练过程中实现了净零排放。
• 工具集成：支持与外部工具和 API 集成，实现实时数据访问和第三方应用。
• 安全与对齐：通过监督微调 (SFT) 和基于人类反馈的强化学习 (RLHF) 进行微调，确保安全性和对齐人类偏好。

https://www.youtube.com/watch?v=-dnGa6Oms5I

与其他 Llama 模型对比

• Llama 3.3 70b vs. Llama 3.1 405B：Llama 3.3 70b 性能与 Llama 3.1 405B 相似，但效率更高、计算需求更低。
• Llama 3.3 70b vs. Llama 3.2：Llama 3.3 在微调、安全特性和基准测试性能上均优于 Llama 3.2。

与其他模型对比

虽然 Llama 3.3 70b 不一定总是超越 GPT-4 或 Claude 3.5 等模型，但它在编码和多语言推理方面提供了具有竞争力的结果。在指令跟随任务上表现出色，甚至优于 Llama 3.1 405B 和 GPT-4。此外，在输入和输出 token 成本方面，它比 Amazon Nova Pro、GPT-4 和 Claude 3.5 等模型更具成本效益。

如果你想查看更详细的参数对比，可以阅读这篇文章：Llama 3.3 基准测试：关键优势与应用洞察

应用场景

• 多语言聊天机器人和虚拟助手。
• 编码支持与软件开发。
• 合成数据生成。
• 多语言内容创作与本地化。
• 研究与实验。
• 基于知识的应用，例如问答和摘要。

如何本地访问 Llama 3.3 70b

硬件要求与配置建议

• GPU：NVIDIA GPU，最低 24GB VRAM（例如 A100 或 H100）。有资料推荐 NVIDIA RTX A6000 48GB。
• 内存：至少 32GB（处理更大数据集建议 64GB）。
• 存储：至少 250GB 可用磁盘空间；模型本身大约占用 40GB。
• 操作系统：Linux（推荐）或带 WSL2 的 Windows，特定选项为 Ubuntu 22.04。
• 软件：Python 3.8 或更新版本，CUDA Toolkit 11.7 或更高版本。
• 必需库：Hugging Face Transformers、PyTorch，以及用于量化和优化的工具如 bitsandbytes。

根据以上数据，你可以发现 为什么 LLaMA 3.3 70B 的 VRAM 要求对家庭服务器是一个挑战？

逐步安装指南

1. 安装 Python 并创建虚拟环境

2. 安装必需库：

使用 pip install bitsandbytes 进行 GPU 优化。

3. 安装 Hugging Face CLI 并登录：

   pip install huggingface-cli
   huggingface-cli login

4. 在 Hugging Face 网站上请求对 Llama-3.3 70b 的访问权限。

5. 使用 Hugging Face CLI 下载模型文件：

   huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct

6. 使用 Hugging Face Transformers 库本地加载模型：

   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer

   model_id = "meta-llama/Llama-3.3-70B-Instruct"
   model = AutoModelForCausalLM.from_pretrained(
       model_id, device_map="auto", torch_dtype=torch.bfloat16
   )
   tokenizer = AutoTokenizer.from_pretrained(model_id)

7. 使用加载的模型和 tokenizer 进行推理。

如何通过 Novita AI 访问 Llama 3.3 70b

分步指南

Novita AI 提供经济、可靠且简单的推理平台，具有可扩展的 Llama 3.3 70b API，助力开发者构建 AI 应用。立即试用 Novita AI Llama 3.3 70b API 演示！

步骤 1：登录并访问模型库

登录你的账户，点击 模型库 按钮。

步骤 2：选择你的模型

浏览可用选项，选择适合你需求的模型。

步骤 3：开始免费试用

开始免费试用，探索所选模型的能力。

步骤 4：获取你的 API Key

为了通过 API 进行身份验证，我们将为你提供一个新的 API Key。进入“设置”页面，按照图中所示复制 API Key。

步骤 5：安装 API

根据你的编程语言使用相应的包管理器安装 API。

安装完成后，将必要的库导入到你的开发环境。使用你的 API Key 初始化 API，开始与 Novita AI LLM 交互。以下是适用于 Python 用户的聊天补全 API 示例。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # 获取 Novita AI API Key，请参考：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key。
    api_key="<你的 Novita AI API Key>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # 或 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=&#91;
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices&#91;0].delta.content or "")
else:
    print(chat_completion_res.choices&#91;0].message.content)

注册后，Novita AI 会提供 $0.5 的免费额度，助你入门！

如果免费额度用完，你可以付费继续使用。

哪种方法适合你？

本地访问与 API 访问对比

方面	本地访问	API 访问
可扩展性	有限；需要手动升级。	自动高效扩展。
灵活性	高灵活性；完全控制设置。	灵活性较低；取决于提供商配置。
易用性	需要专业技术知识。	更易于使用，无需复杂设置。
成本效益	初始成本高，持续成本低。最适合长期使用。	按使用付费，适合小规模或偶尔使用。

不同用户群体的建议

• 研究人员：通常偏好本地访问，以便灵活控制实验。
• 开发者：
  • API 访问适合构建应用和快速原型开发。
  • 本地访问更适合微调和自定义工作流。
• 企业：API 访问有利于快速集成到服务中，无需高昂前期成本。对于需求稳定且能够投资基础设施的团队，本地部署更合适。
• 小型团队/个人：由于启动成本较低，API 访问通常更实用。
• 技术能力有限的用户：API 访问更可取，因为它不需要深厚的技术知识。

总之，Llama 3.3 是一个强大、灵活且易于访问的模型，平衡了性能与资源需求。根据你的需求和可用资源，你可以选择本地运行或通过 API 访问。

常见问题解答

Novita AI 是一站式云平台，助力你的 AI 抱负。集成 API、Serverless、GPU 实例——你所需的成本效益工具。无需基础设施，免费起步，让 AI 愿景成为现实。

推荐阅读

• 为什么 LLaMA 3.3 70B 的 VRAM 要求对家庭服务器是一个挑战？
• Llama 3.3 vs GPT-4o：选择合适模型
• Llama 3.3 70B：特性、访问指南与模型对比