Llama 4 現已登陸 Novita AI:釋放多模態 MoE 威力

Llama 4 現已登陸 Novita AI:釋放多模態 MoE 威力

Meta 剛剛發布了突破性的 Llama 4 模型家族,憑藉原生多模態與混合專家(MoE)架構,大幅推升 AI 能力。

今天,我們興奮地宣布 Llama 4 ScoutLlama 4 Maverick 現已可在 Novita AI 上使用,讓企業與開發者能透過簡單的 API 整合,發揮這些強大模型的威力。

Novita AI 提供 Llama 4 模型群中的首批模型,定價如下:

Llama 4 Scout $0.1 / 百萬輸入 tokens,$0.5 / 百萬輸出 tokens
Llama 4 Maverick $0.2 / 百萬輸入 tokens,$0.85 / 百萬輸出 tokens

了解 Llama 4 模型群

Llama 4 發布的三款模型各有專攻,滿足不同需求與運算限制:

模型 活躍參數 總參數 專家數量 上下文長度 主要優勢
Llama 4 Scout 17B 109B 16 1000 萬 tokens 長上下文、影像接地、可單張 H100 GPU 運行
Llama 4 Maverick 17B 400B 128 100 萬 tokens 多模態卓越表現、創意寫作
Llama 4 Behemoth 288B ~2T 16 蒸餾用的教師模型

Llama 4 Scout 擁有 16 位專家,在同級別中提供最先進的性能。它支援業界領先的 1000 萬 token 上下文長度,非常適合處理大量資料,包括整個程式碼庫或大型文件。

Llama 4 Maverick 是 Meta 的產品主力,配備 128 位專家,在廣泛任務中提供卓越性能。它在精確影像理解與創意寫作方面表現出色,同時支援最多 100 萬 token 的上下文。

Llama 4 Behemoth 是 Llama 4 家族的教師模型,擁有 16 位專家。雖然尚未公開發布(仍在訓練中),但 Behemoth 在數個 STEM 重點基準上超越了 GPT-4.5、Claude Sonnet 3.7 與 Gemini 2.0 Pro。

注意: 在 Novita AI 上,Llama 4 Scout 的上下文視窗為 131,072 tokens,Llama 4 Maverick 的上下文視窗則為 1,048,576 tokens。

主要功能與能力

原生多模態

Llama 4 模型採用早期融合技術,將文字與視覺標記無縫整合到統一的模型主幹中。這使得能夠利用大量未標記的文字、圖片與影片資料進行聯合預訓練。

增強後的視覺編碼器基於 MetaCLIP,但針對 LLM 整合進一步優化,讓模型能夠在無需額外工程的情況下,同時處理多張圖片與文字提示。

延伸上下文長度

Llama 4 最顯著的進步之一是其對極長上下文的支援:

  • Llama 4 Scout:1000 萬 tokens
  • Llama 4 Maverick:100 萬 tokens

上下文長度的躍進使得過去不切實際或成本過高的應用成為可能,例如:

  • 多文件摘要與分析
  • 對大型程式碼庫進行推理
  • 解析大量使用者活動以提供個人化體驗
  • 在單一提示中處理整個研究檔案

多語言與推理能力

Llama 4 模型已在 200 種語言上進行預訓練——其中 12 種語言(包括阿拉伯語、西班牙語、德語及印地語)獲得專門的微調支援。超過 100 種語言各自擁有超過 10 億個訓練 tokens——多語言覆蓋範圍是 Llama 3 的 10 倍。

如此廣泛的訓練使模型在跨語言任務中表現優異,適合全球性應用。

此外,得益於專門的訓練配方,模型還展現出增強的推理能力。對於 Maverick,這包括持續線上 RL 策略搭配自適應資料過濾,重點關注中等到困難難度的提示。

效能基準與使用案例

基準測試

根據 Meta 官方基準數據,Llama 4 模型在各種任務中表現出色,如下表所示:

Llama 4 Scout 基準測試

Llama 4 Scout 基準測試

Llama 4 Maverick 基準測試

Llama 4 Maverick 基準測試

Llama 4 模型群理想使用案例

Llama 4 Scout 最適合長上下文應用,而 Llama 4 Maverick 則在涉及多模態理解的複雜推理與創意任務中表現出色。以下是根據兩款模型優勢推薦的理想使用案例:

Llama 4 Scout:

  • 法律或財務分析中的多文件摘要
  • 利用大量使用者資料進行個人化任務自動化
  • 輕量級多模態應用的高效圖像處理

立即探索 Llama 4 Scout 示範

Llama 4 Maverick:

  • 具備視覺情境的多語言客戶支援
  • 基於多模態輸入生成行銷內容
  • 結合文字、圖表與表格的進階文件智能
  • 結合精確影像理解的創意寫作與內容生成

立即探索 Llama 4 Maverick 示範

這兩款模型在需要多模態理解、長上下文推理及多語言能力的場景中表現出色。

在 Novita AI 上開始使用 Llama 4

透過 Novita AI 的模型庫,將 Llama 4 模型整合到您的應用中十分簡單,只需幾行程式碼即可。以下是入門方式:

設定環境

首先,請確保您擁有來自 Novita AI 的 API 金鑰。如果您尚未取得,請註冊並透過 Novita AI 儀表板建立 API 金鑰。

使用 Python 整合

Novita AI 提供與 OpenAI 相容的端點,方便無縫整合。以下是一個使用 Python 客戶端的簡單範例:

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<您的 Novita AI API 金鑰>",
)

model = "meta-llama/llama-4-maverick-17b-128e-instruct-fp8"
stream = True # 或 False
max_tokens = 2048
system_content = """成為一個有用的助手"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "你好!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

如需更詳細的範例與全面的整合指南,請造訪我們的 LLM API 文件

結論

Llama 4 登陸 Novita AI 代表著先進 AI 能力普及化的重要里程碑。

憑藉原生多模態、擴展的上下文長度以及高效的 MoE 架構,這些模型使得過去不切實際或過於昂貴的新類型應用成為可能。

無論您正在開發文件處理、多語言溝通或創意內容生成的應用,Llama 4 都提供了打造智慧、互動體驗所需的工具。

立即透過 Novita AI 的簡易整合流程 與具競爭力的定價,將 Llama 4 的威力帶入您的應用與使用者手中。

關於 Novita AI

Novita AI 是一個 AI 雲端平台,讓開發者能夠透過簡單的 API 輕鬆部署 AI 模型,同時提供經濟實惠且可靠的 GPU 雲端服務,用於建立與擴展應用。