Llama 3.3 70B：功能、存取指南與模型比較

重點摘要

Llama 3.3 70B： Meta 開發的 700 億參數語言模型。

技術特點： 採用優化的 Transformer 架構搭配 GQA，支援 8 種語言，具備函式呼叫功能，並在基準測試中獲得高分（MMLU Chat：86.0）。

硬體需求： 至少需要 24GB VRAM 與 32GB RAM。

使用案例： 適用於程式碼編寫、內容創作、教育與客戶服務。

與其他模型比較： 相較同類模型，提供更佳的成本效益與多語言能力。

如何存取： 可透過線上平台、本地部署、API 或雲端 GPU 取得。

Meta 於 2024 年 12 月 6 日發布的 Llama 3.3 70B 模型，是大型語言模型（LLM）領域的一項重大進展，在效能與效率之間取得平衡。本文提供 Llama 3.3 70B 的技術概述，詳細說明其架構、能力與實際應用。同時也會介紹它與其他模型的比較、硬體需求以及存取方式。

什麼是 Llama 3.3 70B？

Llama 3.3 70B 是 Meta 開發的 700 億參數、純文字、指令微調的大型語言模型。它專為進階自然語言處理（NLP）任務設計，著重於效能與資源效率之間的平衡。此模型無法處理圖片或音訊。Llama 3.3 僅以指令微調版本提供，並未提供預訓練版本。

架構

• 優化的 Transformer 架構： Llama 3.3 70B 採用優化的 Transformer 架構以提升效能。
• 分組查詢注意力（GQA）： 模型採用分組查詢注意力（GQA）來提升處理效率與推論擴展性。
• 訓練資料： 模型在 15 兆個 token 的大規模資料集上進行訓練，使用了新的公開線上資料組合。訓練過程採用監督式微調（SFT）與基於人類回饋的強化學習（RLHF）。訓練資料涵蓋多種語言，但官方僅支援八種。
• 分詞器： 模型使用基於文字的分詞器。你可以在 Python 中取得 token 計數，或選擇具成本效益的 API 來降低每百萬 token 的提示與完成成本。
• 量化： 模型大小會因量化等級而異。例如，4 位元量化版本約需 35GB 的 VRAM。

支援的語言

Llama 3.3 70B 是一個多語言模型，官方支援八種語言：英文、德文、法文、義大利文、葡萄牙文、印地文、西班牙文與泰文。雖然模型在更廣泛的語言上進行了訓練，但在非支援語言上的表現可能無法達到安全與實用性的門檻。

函式呼叫

Llama 3.3 70B 支援函式呼叫。函式呼叫允許模型與外部系統、API 和工具互動。它使 LLM 能夠在特定任務需要外部函式或工具時辨識出來，然後輸出結構化資料（通常為 JSON 格式）來執行該函式。此結構化資料包含函式名稱及任何必要的引數。若要使用 Llama 3.3 實作函式呼叫，可參考此指南：Llama 3.3 70B 函式呼叫：無縫整合以獲得更好效能。

Llama 3.3 70B 基準測試

一般知識與推理

• MMLU Chat（0-shot, CoT）： 86.0
• MMLU PRO（5-shot, CoT）： 68.9

Llama 3.3 70B 在一般知識與推理任務上表現非常出色。MMLU Chat 和 IFEval 的高分顯示其在這些領域具有強大能力。MMLU PRO 的成績也相當不錯，雖然略低於某些其他模型。

指令遵循

• IFEval： 92.1

IFEval 分數極高，表示 Llama 3.3 70B 在指令遵循任務上表現卓越。這顯示模型非常擅長理解並準確執行指令。

程式碼能力

• HumanEval（0-shot）： 88.4
• MBPP EvalPlus（base）： 87.6

Llama 3.3 70B 展現了強大的程式碼能力，在 HumanEval 和 MBPP EvalPlus 都取得高分。這表示它在程式設計任務上具有穩健的理解與生成能力。

數學與符號推理

• MATH（0-shot, CoT）： 77.0
• GQA Diamond（0-shot, CoT）： 50.5

在數學與符號推理方面，Llama 3.3 70B 在 MATH 基準測試中表現良好，顯示出解決數學問題的強大能力。GQA Diamond 分數中等，表示在某些推理任務上仍有改進空間。

多語言能力

• 多語言 MGSM（0-shot）： 91.1

Llama 3.3 70B 在多語言任務上表現極佳，多語言 MGSM 基準測試的高分證明了這一點。這表示其在處理多種語言上具有強大能力。

工具使用與長上下文效能

• BFLC v2（0-shot）： 77.3
• NIH/Multi-needle： 97.5

在工具使用與長上下文效能方面，Llama 3.3 70B 表現良好，NIH/Multi-needle 基準測試的高分顯示其處理長文本的強大能力。BFLC v2 的分數也相當不錯，表示有效的工具使用能力。

更多詳細資訊，請參考此文：Llama 3.3 基準測試：主要優勢與應用洞察

Llama 3.3 70B 硬體需求

儘管設計上力求可及性，Llama 3.3 70B 仍然需要大量的 VRAM。雖然它比之前的模型更有效率，但至少需要 24 GB 的 VRAM 才能有效運作。除了 VRAM，模型還需要至少 32 GB 的 RAM，建議 64 GB 或更多。此外，大約需要 200 GB 的儲存空間。這使得在家庭伺服器上運行模型具有挑戰性，或者載入速度緩慢，因為典型消費級 GPU 的 VRAM 容量有限。API 存取和量化等最佳化技術為資源有限的人提供了實用替代方案。

微調可針對特定任務自訂 LLaMA 3.3 70B，提高準確性與相關性。
雖然 RTX 4090 是一款強大的 GPU，但其記憶體限制可能使微調 LLaMA 3.3 70B 變得困難。
參數高效微調（PEFT）方法（如 LoRA 和 QLoRA）有助於緩解這些挑戰。

Novita AI

此外，這意味著微調此模型需要大量的 GPU 資源，特別是 VRAM。量化與 PEFT 等技術有助於緩解其中一些挑戰，但對於全參數微調，通常需要使用雲端解決方案或高階 GPU。

Llama 3.3 70B 使用案例

Llama 3.3 70B 的通用性使其適用於廣泛的應用場景：

多語言處理

• 多語言聊天機器人與虛擬助理
• 即時翻譯服務
• 處理多語言溝通與翻譯需求的全球通訊助理

內容創作與處理

• 高品質文字生成（新聞文章、部落格）
• 內容創作支援工具
• 文字摘要與分析
• 行銷內容生成

程式設計與開發

• 程式碼生成與問題解決
• 程式設計支援與開發協助
• 自動化測試與專案分析

教育與研究

• 準備教材的教育工具
• 個人化學習路徑設計
• 研究分析與知識探索支援
• 學習協助與知識獲取

資料處理與分析

• 文字分類（垃圾郵件過濾、情感分析）
• 命名實體辨識
• 合成資料生成

客戶服務與體驗

• 智慧型客戶服務系統
• 提供智慧回覆的進階問答系統

專業領域應用

• 數學問題解決與邏輯推理
• AI 輔助創意工具
• 個人資訊管理

企業應用

• 大規模企業語言模型與對話系統
• 與外部系統及 API 的工具整合
• 複雜工作流程自動化

這些應用場景展示了 Llama 3.3 70B 作為一個跨越多個領域的通用高效能語言模型的廣泛潛力。

Llama 3.3 70B 與其他模型比較

其他模型與 Llama 3.3 70B 相比如何？以下為主要差異：

• GPT-4o：更擅長複雜任務，客製化程度較低，價格較高
• Qwen 2.5 72B：一般知識與數學更強，程式碼與速度較弱
• Llama 3.1 405B：知識更廣泛，運算需求更高
• DeepSeek V3：程式碼能力卓越，成本效益較低
• Llama 3.1 70B：更具成本效益，但在各項任務上表現較低
• Mistral Nemo：擅長文字生成，較不適合追求頂尖基準分數
• Claude 3.5 Sonnet：複雜推理與程式碼能力優異，成本效益較低
• Mistral Large 2411：更適合複雜工作流程，一般知識較弱
• QwQ：專精於進階推理與數學任務
• Llama 3.2 90B：支援多模態輸入，文字處理速度較慢
• Llama 3（原始版）：上下文視窗較小，多語言支援較少
• Gemma 2 9B：更適合特定文字生成任務，程式碼與數學能力較弱

Llama 3.3 70B 以其通用性、成本效益以及在程式碼、指令遵循和多語言應用上的強大表現而脫穎而出。

如何存取 Llama 3.3 70B

1. 使用線上平台 存取 Llama 3.3 70B（例如 Novita AI）

你可以在 Novita AI 的 LLM Playground 頁面找到免費試用！這是我們專門為開發者提供的測試頁面！從清單中選擇你想要的模型。這裡你可以選擇 Llama 3.3 70B 模型。

立即試用 Llama 3.3 70B Demo！

2. 在本機運行 Llama 3.3 70B

1. 安裝 Python 並建立虛擬環境

2. 安裝所需函式庫：

使用 pip install bitsandbytes 進行 GPU 最佳化。

3. 安裝 Hugging Face CLI 並登入：

   pip install huggingface-cli
   huggingface-cli login

4. 在 Hugging Face 網站上請求 Llama-3.3 70b 的存取權限。

5. 使用 Hugging Face CLI 下載模型檔案：

   huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct

6. 使用 Hugging Face Transformers 函式庫在本機載入模型：

   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer

   model_id = "meta-llama/Llama-3.3-70B-Instruct"
   model = AutoModelForCausalLM.from_pretrained(
       model_id, device_map="auto", torch_dtype=torch.bfloat16
   )
   tokenizer = AutoTokenizer.from_pretrained(model_id)

7. 使用載入的模型和分詞器執行推理。

3.存取免費的 Llama 3.3 70B API（例如 Novita AI）

步驟 1：登入並存取模型庫

登入你的帳戶，然後點選 模型庫 按鈕。

步驟 2：選擇你的模型

瀏覽可用的選項，然後選擇符合你需求的模型。

步驟 3：開始免費試用

開始免費試用，以探索所選模型的功能。

步驟 4：取得你的 API 金鑰

為了驗證 API，我們將提供一個新的 API 金鑰。進入「設定」頁面，即可依照圖片指示複製 API 金鑰。

步驟 5：安裝 API

使用你程式語言專用的套件管理器來安裝 API。

安裝完成後，將必要的函式庫匯入你的開發環境。使用你的 API 金鑰初始化 API，開始與 Novita AI LLM 互動。以下是 Python 使用者使用對話補全 API 的範例。

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # 獲取 Novita AI API 金鑰，請參考：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # 或 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=&#91;
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices&#91;0].delta.content or "")
else:
    print(chat_completion_res.choices&#91;0].message.content)

註冊後，Novita AI 會提供 $0.5 的點數讓你可以開始使用！

如果免費點數用完，可以付費繼續使用。

4.在雲端 GPU 上存取 Llama 3.3 70b （例如 Novita AI）

步驟1： 點選 GPU 實例

如果你是新用戶，請先註冊帳戶。然後在我們的網頁上點選 GPU 實例按鈕。

步驟2： 範本與 GPU 伺服器

你可以根據自己的具體需求選擇範本，包括 Pytorch、Tensorflow、Cuda、Ollama。此外，你也可以點選最下方的按鈕來建立自己的範本資料。

然後，我們的服務提供高效能 GPU 的存取，例如 NVIDIA RTX 4090，每個 GPU 都擁有充足的 VRAM 和 RAM，確保即使是要求最嚴苛的 AI 模型也能有效訓練。你可以根據需求選擇。

步驟3： 自訂部署

在此部分，你可以根據自己的需求自訂這些資料。容器磁碟有 60GB 免費空間，卷磁碟有 1GB 免費空間，如果超出免費限制，將會產生額外費用。

步驟4： 啟動 實例

無論是研究、開發還是部署 AI 應用程式，Novita AI GPU 實例都能在雲端提供強大且高效的 GPU 運算體驗。

結論

Llama 3.3 70B 是大型語言模型在可及性與效率方面的一項關鍵進展。其令人印象深刻的效能，加上相對適中的資源需求，使其成為從多語言聊天機器人到程式碼輔助等各種應用的實用選擇。無論是透過 API 存取還是本機運行，Llama 3.3 70B 都為開發者和研究人員提供了一個強大的工具。

Llama 3.3 70B 是免費的嗎？

Llama 3.3 是開源模型，可以免費下載和使用；但透過第三方服務存取可能產生費用。

Llama 3.3 可以在標準的開發者硬體上運行嗎？

是的，它設計為可以在常見的 GPU 和開發者級別的工作站上運行。

Llama 3.3 70B 的大小是多少？

模型大小約為 40-43 GB。

Novita AI 是一個一站式雲端平台，助您實現 AI 抱負。整合 API、無伺服器、GPU 實例 — 您所需的成本效益工具。無需基礎設施，免費開始，讓您的 AI 願景成真。

推薦閱讀

• Llama 3.1 8B 與 Llama 3.2 3B：平衡效能與行動效率
• 什麼是 GPU 雲端：全面指南
• Llama 3.2 3B 與 DeepSeek V3：效率與效能比較