重點摘要
Llama 4 Scout：尖端的多模態模型，支援文字與影像輸入，擁有 10M 上下文長度，適合進階推理、擴展記憶任務以及成本效益高的大規模輸出。
Llama 3.3 70B：僅限文字輸入，上下文長度為 131K，但在編碼任務中表現出色，實作簡潔且硬體需求較低。
效能：Llama 4 Scout 在推理、知識和成本效益上領先，而 Llama 3.3 70B 在編碼任務上略勝一籌。
硬體需求：Llama 4 Scout 需要顯著更高的運算資源，而 Llama 3.3 70B 更易於通用應用。
Llama 4 Scout 和 Llama 3.3 70B 是兩個專為不同使用場景設計的強大大型語言模型。Llama 4 Scout 的多模態能力與 10M 上下文長度使其適合進階推理和擴展記憶任務。相比之下，Llama 3.3 70B 在效率、編碼表現和較低硬體需求上表現出色，是通用應用的理想選擇。本指南將探討它們的差異，並協助您根據需求選擇合適的模型。
基本介紹
Llama 4 Scout 支援 多模態處理，能夠處理文字和影像等多種資料類型，適用於視覺推理和資料合成等複雜任務。其 10M 上下文長度 可處理大量序列資料，非常適合需要擴展記憶和上下文感知的應用。
Llama 4 Scout
| **類別 ** | ** 項目 ** | ** 詳細資訊** |
|---|---|---|
| **基本資訊 ** | ** 模型大小** | 109B 參數（每 token 17B 活躍） |
| 開源 | 開源 | |
| 架構 | 16 個混合專家（MoE） | |
| 上下文 | 支援最多 10M token | |
| **語言支援 ** | ** 支援語言** | 在 200 種語言上預訓練。支援阿拉伯文、英文、法文、德文、印地文、印尼文、義大利文、葡萄牙文、西班牙文、他加祿文、泰文和越南文。 |
| **多模態 ** | ** 能力** | 輸入：多語言文字與影像；輸出：多語言文字與程式碼 |
| **訓練 ** | ** 訓練資料** | 約 40 兆個 token |
| 預訓練 | MetaP：自適應專家配置 + 中期訓練 | |
| 後訓練 | SFT（簡單資料）→ RL（困難資料）→ DPO | |
| **不同精度的模型大小 ** | ** 張量類型** | BF16 |
Llama 3.3 70B
| **類別 ** | ** 項目 ** | ** 詳細資訊** |
|---|---|---|
| **基本資訊 ** | ** 模型大小** | 70B 參數 |
| 開源 | 開源 | |
| 架構 | 最佳化 Transformer 架構，GQA | |
| 上下文 | 131K | |
| **語言支援 ** | ** 支援語言** | 支援八種語言 |
| **多模態 ** | ** 能力** | 文字對文字 |
| **訓練 ** | ** 訓練資料** | 15 兆個 token |
| 訓練方法 | 監督式微調（SFT）和人類回饋強化學習（RLHF） | |
| **不同精度的模型大小 ** | ** 張量類型** | BF16 |
基準測試比較
在了解每個模型的基本特性後，讓我們深入比較它們在各項基準測試中的表現。這項比較將有助於說明它們在不同領域的優勢。
| **類別 ** | ** 基準測試 ** | Llama 4 Scout | Llama 3.3 70B |
|---|---|---|---|
| 編碼 | LiveCodeBench | 32.8 | 33.3 |
| 推理 | MMLU Pro | 74.3 | 68.9 |
| 知識 | GPQA Diamond | 57.2 | 50.5 |
| 定價（Novita AI） | 1M 輸入 Token | $0.10 | $0.10 |
| 1M 輸出 Token | $0.13 | $0.39 |
選擇 Llama 4 Scout 以處理需要推理、知識和成本效益的多元任務。如果編碼表現是首要需求，則選擇 Llama 3.3 70B。
如果您想看更多比較，可以參考以下文章：
- 單張 H100 的 VRAM 能否執行 Llama 4 Scout？
- DeepSeek R1 vs OpenAI o1：GRPO 與 PPO 的獨特架構
- 指南：在本機、透過 API 或雲端 GPU 存取 Llama 4 Scout
速度比較
如果您想親自測試，可以在 Novita AI 網站上開始免費試用。
速度比較
Llama 4 Scout 在 Token 生成速度以及首個 Token 產出速度上都更快。這些特質使其更適合需要低延遲和高回應性的應用。
硬體需求
| **模型 ** | ** 上下文長度 ** | Int4 VRAM | GPU 需求（Int4） | FP16 VRAM | GPU 需求（FP16） |
|---|---|---|---|---|---|
| Llama 3.3 70B | 131K Token | 194.14GB | 4×H100 | ||
| Llama 4 Scout | 4K Token | ~99.5 GB | 1× H100 | ~345 GB | 8× H100 |
| 128K Token | ~334 GB | 8× H100 | ~579 GB | 8× H100 | |
| 10M Token | ~18.8 TB | 240× H100 | 與 INT4 相同（KV Cache 主導） | 240× H100 |
硬體需求：Llama 3.3 70B 即使在擴展上下文長度（131K token，4× H100）下也維持較低硬體需求。相比之下，Llama 4 Scout 對硬體需求極高，尤其對於 128K 或 10M token 的任務。
可擴展性：Llama 4 Scout 支援超長上下文（最多 10M token），但代價是極端的運算資源，適合特定高預算應用。
實用性：Llama 3.3 70B 更適合高效且資源易取得的通用場景。Llama 4 Scout 則適合需要大量 token 上下文的專門情境，但其需求使其在一般環境中較不實用。
應用與使用案例
Llama 4 Scout 的應用：
- 多模態任務：適合涉及文字和影像的任務，例如視覺問答、影像字幕或多模態推理。
- 擴展上下文處理：憑藉 10M 上下文長度，擅長分析長篇文件、歷史資料或大規模對話。
- 高效能推理：適合科學分析、複雜問題解決和決策制定等進階推理任務。
- 成本效益輸出：針對需要大規模文字生成且輸出 token 成本最低的任務進行最佳化。
Llama 3.3 70B 的應用：
- 編碼與程式設計：在編碼任務上表現稍佳，是軟體開發、除錯和程式碼生成的強力選擇。
- 適中上下文需求：支援最多 131K token，適合文件分析、摘要或中等長度對話等應用。
- 通用用途：適用於各種任務，如內容創作、問答和一般推理，無需極端上下文長度或多模態能力。
- 輸入成本低廉：對於需要大量輸入處理的任務，其成本結構平衡，是實用的選擇。
Llama 4 Scout vs Llama 3.3 70B：任務表現
任務 1：邏輯推理
提示： 「你走進一個房間，看到一張床。床上有兩隻狗、四隻貓、一隻長頸鹿、五頭牛和一隻鴨子。還有三張椅子和一張桌子。地板上有多少條腿？」
Llama 4 Scout
Llama 3.3 70B
評論：
- 準確性：Llama 3.3 70B 給出更完整的答案（
22 條腿），因為它包含了床腿和人的腿，而 Llama 4 Scout 忽略了人的腿。 - 清晰度：Llama 4 Scout 的解釋更有結構且詳細，易於理解推理過程。
- 解讀：Llama 3.3 70B 是否包含人的腿取決於問題意圖。如果問題明確排除人，答案應為
20 條腿。
任務 2：問題解決能力
提示： 「撰寫一個可以解數獨謎題的程式。」
Llama 4 Scout
Llama 3.3 70B
評論：
- Llama 4 Scout 的實作對初學者或重視清晰度與詳細解釋的人較好。它易於理解，並包含精美的輸出格式。Llama 3.3 70B 的實作更簡潔高效，適合熟悉數獨求解演算法且偏好精簡程式碼的使用者。
如何透過 Novita API 存取 Llama 4 Scout 和 Llama 3.3 70B？
步驟 1：登入並存取模型庫
登入您的帳戶，點選 模型庫 按鈕。
步驟 2：選擇您的模型
瀏覽可用選項，選擇適合您需求的模型。
步驟 3：開始免費試用
開始免費試用，探索所選模型的能力。
步驟 4：取得 API 金鑰
為通過 API 進行身份驗證，我們將提供您一個新的 API 金鑰。進入「設定」頁面，即可依圖示複製 API 金鑰。
步驟 5：安裝 API
根據您的程式語言使用對應的套件管理器安裝 API。
安裝完成後，在開發環境中匯入所需的函式庫。使用 API 金鑰初始化 API，即可開始與 Novita AI LLM 互動。以下是一個給 Python 使用者的聊天補全 API 範例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "meta-llama/llama-4-scout-17b-16e-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
在 Llama 4 Scout 和 Llama 3.3 70B 之間選擇取決於您的需求。對於需要多模態輸入、擴展記憶和進階推理的任務，Llama 4 Scout 是更佳的選擇。如果您的重點在於編碼、適中上下文長度和硬體效率，Llama 3.3 70B 提供更實用的解決方案。透過 Novita AI 探索這些模型，為您的應用找到最合適的方案。
常見問題
Llama 4 Scout 有什麼獨特之處？
Llama 4 Scout 支援多模態輸入（文字和影像），並提供無與倫比的 10M 上下文長度，非常適合大規模推理、長文檔處理和進階決策任務。
誰應該使用 Llama 3.3 70B 而非 Llama 4 Scout？
Llama 3.3 70B 適合專注於編碼、適中記憶體需求（131K tokens）以及硬體資源有限的使用者。
如何存取 Llama 4 Scout 和 Llama 3.3 70B
Novita AI 為您提供平價且可靠的 API。
Novita AI 是一個 AI 雲端平台，讓開發者能夠透過簡單的 API 輕鬆部署 AI 模型，同時提供平價且可靠的 GPU 雲端以進行建構和擴展。**
