Step 3.7 Flash API 在 Novita AI 上:多模態推理指南

Step 3.7 Flash API 在 Novita AI 上:多模態推理指南

Step 3.7 Flash API 現已在 Novita AI 上線,專為需要透過相容 OpenAI 的 Serverless LLM API 使用多模態推理模型的開發者設計:當你的工作流程需要文字、圖片或影片輸入、工具呼叫、結構化輸出以及 256K 上下文視窗時,請使用 stepfun/step-3.7-flash 搭配 Novita AI 的聊天補全端點。如果你已經準備好發送請求,請直接前往 Step 3.7 Flash API 快速入門;如果你正在評估此模型是否適合你的產品,請從下方的規格、定價與評估指南開始。

什麼是 Novita AI 上的 Step 3.7 Flash?

Step 3.7 Flash 是 StepFun 的高效率多模態推理模型,託管於 Novita AI 上提供 Serverless LLM 存取。API 模型 ID 為 stepfun/step-3.7-flash,該模型透過聊天補全端點公開。

對開發者而言,實際答案很直接:當你的工作流程需要的功能超越純文字對話時,就使用 Step 3.7 Flash API。它非常適合結合長指令、視覺或影片上下文、結構化輸出以及工具路由的代理任務。範例包括分析產品操作影片、將螢幕截圖轉換為實作任務、從混合媒體輸入規劃多步驟操作,或使用模型來決定應用程式功能何時應執行。

它並非用來取代你技術棧中所有較小的文字模型。如果你的應用程式只需要簡短的常見問題解答、簡單的資訊萃取或高流量的分類任務,請先比較 Novita AI 模型庫Novita AI 定價 中的現有模型。當多模態輸入、長上下文或具備工具意識的規劃是實際產品需求的一部分時,Step 3.7 Flash 會變得更具吸引力。

Step 3.7 Flash API 規格、可用性與定價

Novita AI 目前將 Step 3.7 Flash 列為 Serverless LLM 模型,實作細節如下。模型可用性與定價可能變更,請在進行正式環境路由與採購審查前,確認即時模型頁面。

欄位 目前的 Novita AI 數值
顯示名稱 Step 3.7 Flash
API 模型 ID stepfun/step-3.7-flash
存取路徑 Serverless LLM
端點 chat/completions
輸入模態 文字、圖片、影片
輸出模態 文字
上下文視窗 262,144 個 token
最大輸出 token 256,000 個 token
函式呼叫 支援
結構化輸出 支援
推理 支援
模型系列 StepFun
架構標籤 MoE

stepfun/step-3.7-flash 目前的 token 定價如下:

Token 類型 目前價格
輸入 token 每百萬個 token $0.20 美元
快取讀取輸入 token 每百萬個 token $0.04 美元
輸出 token 每百萬個 token $1.15 美元

同一個模型列表顯示從 T1 到 T5 的請求速率層級。可看到的 T1 配額為 30 RPM 與 50,000,000 TPM,較高層級則有更高的 RPM 值。請將這些視為在帳戶設定時需確認的平台限制,而非你自行負載測試的替代方案。

定價之所以重要,是因為多模態與長上下文請求可能會快速成長。產品團隊應分別衡量提示大小、媒體產生的上下文、快取讀取的重複使用率以及輸出長度。如果某個工作流程反覆發送相同的系統提示、工具架構或大型指令區塊,快取讀取可能成為成本設計的一部分。如果回應經常接近較大的輸出大小,輸出 token 將比輸入 token 更快佔據帳單主體。

一個有用的預算規劃模式是將評估流量分為三個區塊。首先,針對相同任務測量純文字基準線。其次,加入圖片或影片輸入,並記錄額外上下文改變答案的頻率。第三,測試附有完整政策、架構或產品文件的長上下文版本。如果第三個區塊改善了路由準確性或減少了人工審查,那麼較大的請求就是合理的。如果沒有,則讓正式環境路徑保持更精簡。

它適合哪些多模態推理工作?

Step 3.7 Flash 最有價值的時候,是當模型必須針對不同類型的輸入進行推理,然後產出計劃、決策或結構化答案。

對於產品與支援團隊來說,這可能意味著要求模型檢查 UI 螢幕截圖或短片片段,識別使用者可能的問題,並回傳一個 JSON 物件來將工單路由到正確的佇列。對於開發者工具而言,這可能意味著讀取錯誤的螢幕錄影、相關的錯誤文字以及原始碼片段,然後產生重現檢查清單。對於營運工作流程,這可能意味著結合長篇政策文字與視覺證據,並要求模型產出逐步處理計劃。

重要的區別在於,Step 3.7 Flash 應接收任務所需的證據。不要要求它推斷從未提供的細節。如果工作流程依賴資料庫查詢、帳單狀態、訂單狀態或部署記錄,請透過你的應用程式層或工具呼叫來揭露這些資料,而不是依賴模型的一般知識。

良好的評估提示包括:

  • 一個支援分類提示,附上一張螢幕截圖、使用者的描述以及所需的 JSON 架構。
  • 一個產品品質保證提示,附上短片輸入與錯誤報告範本。
  • 一個工具路由提示,模型必須在 create_ticketsearch_docsescalate_to_human 之間做選擇。
  • 一個長上下文分析提示,其中相同的工具架構與政策文字可以受益於快取讀取。

避免從模糊的提示開始,例如「分析這段影片」或「推理這張圖片」。給模型明確的任務、決策邊界與輸出格式。這使得跨模型比較結果更加容易,也更容易衡量額外的上下文與多模態輸入是否值得。

對於代理工作流程,模型的工具支援是需要最仔細測試的部分。一個好的工具呼叫評估應包含正確答案是需要呼叫工具的情況、正確答案是要求更多資訊的情況,以及不應執行任何工具的情況。這可以防止評估因為模型能夠發出函式呼叫而獎勵過於積極的行為。

團隊在正式環境前應如何評估?

從一個類似於你產品的小型測試集開始,而不是使用通用的基準測試提示。包含成功案例、邊緣案例以及不應觸發工具呼叫的提示。如果你的應用程式需要結構化輸出,請針對你的架構進行驗證,而不是手動檢查。

一個最小化的相容 OpenAI 文字請求使用 Novita AI LLM API 基礎 URL 與已驗證的模型 ID:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["NOVITA_API_KEY"],
    base_url="https://api.novita.ai/openai",
)

response = client.chat.completions.create(
    model="stepfun/step-3.7-flash",
    messages=[
        {
            "role": "system",
            "content": "你是一個實用的突發事件分類助手。請提供簡潔、結構化的建議。",
        },
        {
            "role": "user",
            "content": "檢視這份事件摘要並找出接下來應檢查的三個項目:部署後 API 延遲增加一倍、資料庫 CPU 正常、錯誤率持平。",
        },
    ],
    max_tokens=700,
    temperature=0.2,
)

print(response.choices[0].message.content)

對於正式環境評估,在路由真實使用者流量之前,請加入四項檢查:

  • 成本檢查: 記錄代表性請求的輸入、快取讀取與輸出 token。
  • 架構檢查: 自動驗證結構化輸出,並在回應不符時進行重試或降級。
  • 工具檢查: 測試工具呼叫與非工具呼叫兩種情況,包括模糊提示。
  • 媒體檢查: 評估你的應用程式實際發送的圖片或影片格式,而不僅僅是媒體的文字摘要。

函式呼叫與結構化輸出雖然有用,但它們並不能免除應用程式的責任。你的服務仍然需要授權檢查、輸入驗證、具備冪等性的工具執行,以及針對會更改使用者資料的行動進行稽核日誌記錄。

對於多模態請求,請保持媒體處理路徑的明確性。根據應用程式的隱私規則儲存或引用資產,保留足夠的中繼資料來除錯故障,並記錄使用了哪種請求格式。如果稍後出現正式環境問題,你會想知道模型看到的是原始圖片或影片、壓縮版本、幀取樣,還是其他服務產生的文字摘要。

上線總覽與快速入門有何比較?

本文是上線與事實來源總覽:可用性、模型 ID、定價、多模態範疇以及開發者適用性。另一篇獨立的 Step 3.7 Flash API 快速入門 則深入探討請求負載、圖片與影片輸入、函式呼叫範例以及結構化輸出模式。

這種區隔很有用,因為上線文章的讀者通常需要回答:「我們應該評估這個模型嗎?」而快速入門的讀者則需要回答:「我應該發送什麼確切的請求?」將這些任務分開,可以避免將定價與能力事實埋藏在長篇教學中,同時仍為實作細節保留應有的空間。

目前來說,最好的下一步是開啟 Step 3.7 Flash 模型頁面,確認你帳戶的當前費率卡與限制,並執行一個使用你的應用程式所需的相同媒體、工具架構或結構化輸出的狹義評估提示。

常見問題

Step 3.7 Flash 在 Novita AI 上可用嗎?

是的。Novita AI 目前將 Step 3.7 Flash 列為 Serverless LLM 模型,API 模型 ID 為 stepfun/step-3.7-flash

Step 3.7 Flash 支援哪些輸入?

Novita AI 模型頁面目前列出文字、圖片與影片作為支援的輸入模態。輸出模態為文字。

Step 3.7 Flash 在 Novita AI 上的費用是多少?

stepfun/step-3.7-flash 目前的 Novita AI 定價為每百萬個輸入 token $0.20 美元、每百萬個快取讀取輸入 token $0.04 美元,以及每百萬個輸出 token $1.15 美元。

Step 3.7 Flash 支援函式呼叫嗎?

是的。Novita AI 模型頁面目前列出 Step 3.7 Flash 支援函式呼叫、結構化輸出與推理。

開發者應該使用哪個端點?

使用 Novita AI 相容 OpenAI 的聊天補全端點,模型 ID 為 stepfun/step-3.7-flash。用於相容 OpenAI SDK 的基礎 URL 為 https://api.novita.ai/openai

推薦文章