使用 Helicone 與 Novita AI：完整指南

Novita AI 徹底改變了開發者與各種 AI 工具（包括 Helicone）互動的方式。Helicone 以其專為處理大型語言模型（LLM）的開發者所設計的先進可觀測性平台而聞名。因此，這個強大的整合為開發者提供了一個絕佳的機會，得以 尋找簡易的推論平台、強大的 LLM 可觀測性以及監控解決方案。本文將深入探討 Helicone 的功能、它與 Novita AI 的整合方式，以及開發者如何從這個強大的組合中受益。

什麼是 Helicone？

Helicone 是一個全方位的 LLM 可觀測性平台，讓開發者得以監控、除錯並改善已上線的 AI 應用程式。該平台專門提供全面的監控解決方案，具備即時日誌記錄功能，讓開發者能夠大規模分析並優化其 LLM 應用程式。Helicone 的獨特價值在於它能夠在數秒內與多個供應商整合，並支援在正式環境流量上測試提示詞變化，無需修改程式碼。

主要功能與作用

Helicone 提供以下主要功能來改善已上線的 LLM 應用程式：

1. 集中式可觀測性：Helicone 提供一個強大的平台，能夠擷取並視覺化所有大型語言模型（LLM）部署的全面日誌與指標。
2. LLM 效能最佳化：Helicone 透過提示詞實驗、追蹤成功率以及支援微調等功能來提升 LLM 效能。
3. 彈性資料管理：Helicone 重視資料隱私，提供多種部署選項，包括專屬執行個體、混合雲整合以及自託管環境。
4. 部署彈性：Helicone 同時支援雲端託管與本地部署，並使用生產就緒的 HELM 圖表來確保最高安全性。
5. 企業級安全性：具備 SOC2 認證與 HIPAA 合規性，確保敏感資料的安全處理，滿足企業安全需求。

設定 Helicone AI Gateway

設定 Helicone AI Gateway 只需四個步驟：建立帳戶、產生 API 金鑰、選擇偏好的整合方式，以及發送第一個請求。

步驟 1：建立帳戶

• 擁有帳戶後，請繼續下一步。

步驟 2：產生 API 金鑰

• 前往設定：點擊左上角的組織，然後從下拉選單中選擇 <mark>設定</mark>。

• 選擇 API 金鑰分頁

• 產生新金鑰：點擊 <mark>產生新金鑰</mark>。建立新的 Helicone API 金鑰時，您可以啟用 <mark>讀取</mark> 與 <mark>寫入</mark> 權限。寫入金鑰可用於透過 Helicone 代理程式、回饋功能或任何其他 Helicone 服務來呼叫 <mark>POST</mark> 或使用我們的閘道。

步驟 3：選擇偏好的整合方式

• 根據您使用的供應商選擇下方對應的說明。

步驟 4：發送第一個請求

• 一旦我們收到您的請求，您將在 <mark>請求</mark> 分頁中看到它們。

• 您也會看到您的 <mark>儀表板</mark> 已更新為新的請求。

取得 Novita AI API 金鑰

產生 Novita AI API 金鑰可透過三個步驟完成：前往 Novita AI 並登入、管理 Novita AI LLM API 金鑰、以及儲值點數。

步驟 1：前往 Novita AI 並登入

• 您可以使用 Google 或 GitHub 登入 Novita AI，首次登入時將自動建立新帳戶。或者，您也可以使用電子郵件地址註冊。

步驟 2：管理 Novita AI LLM API 金鑰

Novita AI 透過 Bearer 認證保護 API 存取，方式是在請求標頭中包含 API 金鑰，例如 “Authorization: Bearer {API Key}”。

• 若要管理您的金鑰，請在設定中導覽至 “金鑰管理”。首次登入時會自動產生一組預設金鑰。
• 您可以透過點擊 “+ 新增金鑰” 來建立額外的金鑰。

步驟 3：儲值點數

• Novita AI 為新使用者提供一組優惠券，附帶一些點數供您試用產品。若要增加更多點數，請前往帳單與付款，並依照付款方式指南操作。

如何將 Novita AI API 與 Helicone 整合

使用 API 金鑰將 Novita AI 與 Helicone 整合是一個直接的流程，只需三個步驟：登入您的 Novita AI 與 Helicone 帳戶、設定 HELICONE_API_KEY 與 NOVITA_API_KEY 為環境變數、修改基礎 URL 並加入認證標頭。

步驟 1：登入您的 Novita AI 帳戶與 Helicone 帳戶

• 登入 Novita AI 或建立帳戶。擁有帳戶後，您可以從儀表板產生 API 金鑰。
• 登入 Helicone 或建立帳戶。擁有帳戶後，您可以產生 API 金鑰。

步驟 2：設定 HELICONE_API_KEY 與 NOVITA_API_KEY 為環境變數

HELICONE_API_KEY=<your API key>
NOVITA_API_KEY=<your API key>

步驟 3：修改基礎 URL 並加入認證標頭

• 將以下 Novita AI URL 取代為 Helicone 閘道 URL：<mark>https://api.novita.ai</mark> → <mark>https://novita.helicone.ai</mark>

• 然後加入以下認證標頭：

Authorization: Bearer <your API key>

範例

• 現在您可以透過簡單的 fetch 呼叫存取 Novita AI 上的所有模型：

curl \
  --header 'Authorization: Bearer <NOVITA_API_KEY>' \
  --header 'Content-Type: application/json' \
  --data '{
    "model": "deepseek/deepseek-r1",
    "messages": &#91;
      {
        "role": "user",
        "content": "What language is mostly spoken in Singapore?"
      }
    ]
}' \
  --url https://novita.helicone.ai/v3/chat/completions

實用連結與資源

為了進一步提升您對 Helicone AI Gateway 與 Novita AI 的瞭解與使用，請考慮探索以下有價值的資源：

• Helicone GitHub

• Helicone 網站與文件

• Helicone Discord

結論

將 Novita AI API 與 Helicone AI Gateway 整合，為部署、監控及最佳化 LLM 應用程式提供了堅實的基礎，同時維持安全性與成本效益。透過結合 Helicone 的可觀測性平台與 Novita AI 的基礎架構，開發者能夠獲得全面的工具，在整個開發生命週期中管理其 AI 應用程式。

常見問題

Helicone 的監控功能是否會影響我的 vLLM 驅動應用程式的效能？

不會，此整合經過最佳化，可與 vLLM 的 PagedAttention 演算法順暢運作。

此整合是否相容於開源 LLM？

是的，此整合完全支援開源 LLM。

我能否監控整個 GPU 基礎架構的成本與資源使用情況？

是的，您可以透過 Helicone 追蹤資源使用情況與成本，同時使用 Novita AI 實惠且可靠的 GPU 雲端基礎架構。

限時優惠

Novita AI 現提供 推薦計畫，對 Helicone 使用者可能是一項福利：若有興趣，使用者可以分享他們的邀請連結/代碼，本人與其推薦人將各獲得 $20 點數，可用於 DeepSeek R1 與 V3 API。

關於 Novita AI

Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的便利方式，同時提供實惠且可靠的 GPU 雲端服務來建置與擴展應用程式。