在 Novita AI 雲端平台上部署 DeepSeek 模型：完整指南

DeepSeek 模型已成為 LLM 領域中極具吸引力的選擇，能以具競爭力的成本提供令人印象深刻的效能。雖然這些模型具備強大的能力，但成功部署需要穩健且高效的基礎架構解決方案。本指南將示範如何利用 Novita AI 的雲端平台，在兼顧高效能與成本效益的條件下，最佳化 DeepSeek 模型的部署。

模型變體概覽

蒸餾版本

• 基於開源模型（Qwen2.5 與 Llama 系列）
• 參數範圍：1.5B、7B、8B、14B、32B 與 70B
• 針對高效推論進行最佳化，同時保持高效能
• 適合經濟實惠的私有部署
• 可透過 Novita AI 的一鍵解決方案輕鬆部署

完整規模版本

• DeepSeek-R1-671B
• 基於 DeepSeek-V3 架構
• 擁有 671B 參數以達成最高效能
• 需要大量運算資源
• 可透過我們最佳化的 API 服務使用

部署指南

步驟 1：存取 Novita AI 平台

1. 前往 Novita AI 官方網站：https://novita.ai/

[立即試用 Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Deploying DeepSeek Models on Novita AI Cloud Platform: A Comprehensive Guide)

2. 建立帳戶或登入現有帳戶

步驟 2：存取 GPU 執行個體設定

1. 在主導覽中點選「GPU」

2. 點選「開始使用」以繼續

步驟 3：選擇並設定 DeepSeek 模型

在本指南中，我們將以 DeepSeek-R1-Distill-Llama-32B 為例。您可以根據需求選擇任何範本，但此範本定義了模型的基本參數。您需要設定所需的 GPU 數量——我們建議在此部署中使用 RTX 4090。所有範本皆使用官方 DeepSeek 模型，並預設採用 BF16 精度。以下是我們建議的設定：

模型	GPU	精度	數量
DeepSeek-R1-Distill-Qwen-1.5B	BF16	RTX 4090	1
DeepSeek-R1-Distill-Qwen-7B	BF16	RTX 4090	1
DeepSeek-R1-Distill-Llama-8B	BF16	RTX 4090	1
DeepSeek-R1-Distill-Qwen-14B	BF16	RTX 4090	2
DeepSeek-R1-Distill-Qwen-32B	BF16	RTX 4090	4
DeepSeek-R1-Distill-Llama-70B	BF16	RTX 4090	8

選擇 DeepSeek-R1-Distill-Qwen-32B 範本，設定 4 個 GPU，然後點選「Deploy」。

步驟 4：自訂部署

確認範本參數，並務必填入 HF_TOKEN 變數。

您可以依照以下提示取得 HF_TOKEN：

1. 前往 huggingface.co：https://huggingface.co/

2. 點選右上角的「Log In」登入，或點選「Sign Up」建立新帳戶

3. 登入後，點選右上角您的個人頭像，並在左側選單中選擇「Access Tokens」

4. 點選「New token」以建立新的存取 token

5. 選擇「Read」作為 token 類型，為您的 token 命名（例如「text」），然後點選「Create token」以產生 token。

6. 複製產生的 token 字串

取得 token 後，將其輸入範本中的 HF_TOKEN 環境變數。然後點選「Next」。

步驟 5：啟動執行個體

點選 「Launch Instance」 以部署您已設定的環境。

等待幾分鐘，讓執行個體進行設定與管理。

點選下拉選單以檢視執行個體日誌。

執行個體啟動後，將會開始拉取模型。點選「Logs」→「Instance Logs」以監控模型下載進度。

當日誌顯示「INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)」時，表示啟動成功。現在讓我們存取您的私有模型！

點選「Connect」，然後點選 →「Connect to HTTP Service [Port 8000]」。由於這是一個 API 服務，您需要複製該位址。

若要對您的私有模型發出請求，請將***「https://f6d29cb6f71e585e-8000.us-ca-1.gpu-instance.novita.ai」***取代為您實際暴露的位址。複製以下程式碼以存取您的私有模型！

$ curl https://f6d29cb6f71e585e-8000.us-ca-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

在您的應用程式（如 Chatbox）中設定 API 位址，即可擁有自己的個人助理！

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Deploying DeepSeek Models on Novita AI Cloud Platform: A Comprehensive Guide) 是一個 AI 雲端平台，為開發者提供透過簡單 API 輕鬆部署 AI 模型的途徑，同時也提供價格實惠且可靠的 GPU 雲端環境，用於建置與擴展。