重點摘要
DeepSeek V3 採用了 MoE 和 MLA 等創新架構，大幅提升效率與上下文長度。
DeepSeek V3 的成本效益極為出色，訓練成本低廉，且 API 使用費用比競爭對手更便宜。
使用者可透過 Novita AI 的 API 存取 DeepSeek V3，或選擇本地部署，為各種需求與資源提供彈性。
DeepSeek 是一款創新的 AI 模型，在 2025 年 1 月底一舉全球爆紅。繼 V3 模型與應用程式推出後，其 R1 推理模型於 1 月 20 日開源，引發全球關注。短短數日內，DeepSeek 的應用程式便衝上美國 App Store 榜首，超越各大科技巨頭。因此，本文將說明如何存取該模型，比較本地部署與 API 存取的差異，並針對不同使用者提供指引。
什麼是 DeepSeek-v3？
DeepSeek V3 是由北京深度求索科技有限公司（DeepSeek）開發的尖端開源混合專家（MoE）大型語言模型。這款高階模型擁有 6710 億個參數，但在推理過程中每個 token 僅啟動 370 億個參數，在最佳化效能的同時降低資源消耗。DeepSeek V3 旨在與 GPT 等頂尖模型競爭，特別在程式碼與技術任務方面表現出色。
主要特色
- 混合專家（MoE）架構：DeepSeek V3 採用具備細粒度動態負載平衡技術的 MoE 框架，無需輔助損失函數。
- 多頭潛在注意力機制（MLA）：此功能透過壓縮注意力鍵值來提升推理效率，降低記憶體開銷，使模型能夠處理長達 128K token 的上下文視窗。
- 多 Token 預測（MTP）：MTP 讓 DeepSeek V3 能夠同時預測多個 token，同時提升訓練效率與推理速度。
- FP8 混合精度訓練：模型使用 8 位元浮點精度進行訓練，降低記憶體與計算成本。
- 雙語支援：DeepSeek V3 針對英文與中文進行最佳化，適用於這兩種語言的多語言應用。
如圖表所示，DeepSeek V3 透過創新的架構設計，在高性能與低成本之間取得絕佳平衡，成為性價比的標竿。此設計讓 DeepSeek V3 在眾多模型中脫穎而出，成為適合各種預算與任務需求的多元選擇。
- 大規模推理任務（例如批次內容生成）。
- 非常注重成本效益的企業與中小型團隊。
- 涉及數學、程式碼生成與複雜邏輯推理的任務。
DeepSeek V3 現已上線 Novita AI！輸入與輸出每百萬 token 的價格極低——千萬別錯過以無與倫比的成本取得頂尖 AI 的機會！
與其他模型比較
DeepSeek V3 是一款功能強大的模型，在多個領域表現出色，特別是在處理專業知識、基礎數學與程式設計任務方面。然而，在先進推理與特定領域應用方面仍有提升空間。這顯示了未來改進的方向，例如提升開放式問題解決、複雜數學推理以及在實際軟體工程場景中的表現。
若想查看更詳細的參數比較，可以參考文章：DeepSeek V3 vs Llama 3.3 70B：語言任務 vs 程式碼與數學；Llama 3.2 3B vs DeepSeek V3：效率與效能比較。
如何在本機存取 DeepSeek V3
硬體需求與設定建議
- 作業系統
- Windows 10 或更新版本
- macOS 10.15 或更新版本
- Linux（Ubuntu 18.04+）
- CPU
- 多核心處理器（至少 4 核心）
- GPU
- 建議使用 NVIDIA GPU 以獲得較快的推理速度
- 較小的 R1 蒸餾模型至少需要 8GB VRAM
- 完整 671B 模型需要更多 VRAM
- 純 CPU 運作可行但速度明顯較慢
- 記憶體（RAM）
- 8GB：足夠執行最小版本（1.5B 或 7B）
- 16GB 或更多：建議用於中階模型（14B 或 32B）
- 儲存空間
- 根據下載的 R1 大小，需要 4–50GB 可用空間
- 軟體需求
- 官方 R1 腳本需使用 Python 3.10
逐步安裝指南
1. 複製儲存庫：
git clone https://github.com/deepseek-ai/DeepSeek-V3.git
2. 進入推理資料夾並安裝依賴套件：
cd DeepSeek-V3/inference
pip install -r requirements.txt
3. 下載模型權重：
從 Hugging Face 下載模型權重，並放在指定的目錄（例如 /path/to/DeepSeek-V3）。
4. 轉換模型權重：
使用提供的 convert.py 腳本將權重轉換為特定格式。例如：
python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16
5. 執行 DeepSeek V3：
使用 torchrun 指令啟動模型。根據你的設定修改參數。範例：
torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200
6. 批次推理（選用）：
針對指定檔案進行批次推理：
torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --input-file $FILE
如何透過 Novita AI 存取 DeepSeek V3
Novita AI 是一個 AI 雲端平台，為開發者提供使用簡單 API 部署 AI 模型的便捷方式，同時也提供價格實惠且可靠的 GPU 雲端來建置與擴展。
步驟 1：登入並進入模型庫
登入你的帳戶，然後點擊 模型庫 按鈕。
步驟 2：選擇你的模型
瀏覽可用的選項，選擇符合你需求的模型。
步驟 3：開始免費試用
開始免費試用，探索所選模型的功能。
步驟 4：取得 API 金鑰
為了進行 API 驗證，我們會提供一個新的 API 金鑰。進入「設定」頁面，即可如圖所示複製 API 金鑰。
步驟 5：安裝 API
使用你的程式語言專屬的套件管理器安裝 API。
安裝完成後，將必要的函式庫匯入你的開發環境。使用你的 API 金鑰初始化 API，即可開始與 Novita AI LLM 互動。以下是提供 Python 使用者使用的聊天補齊 API 範例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek_v3"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
註冊 Novita AI 即可獲得 $0.5 美元額度，讓你立即開始使用！
如果免費額度用完，你可以付費繼續使用。
哪種方法適合你？
本地部署 vs. API 存取比較
| 功能 | 本地部署 | API 存取 |
|---|---|---|
| 控制權 | 高 | 有限 |
| 客製化 | 彈性 | 受限 |
| 硬體需求 | 高 | 低 |
| 初始成本 | 高 | 低 |
| 可擴展性 | 有限 | 高 |
| 維護難度 | 高 | 低 |
| 隱私保護 | 強 | 視供應商而定 |
不同使用者群組的建議
- 對於研究人員與開發者
- 建議：本地部署 DeepSeek V3。
- 原因：可完全控制模型，進行廣泛的客製化與最佳化。
- 考量：需要大量硬體資源與進階技術專業知識。
- 對於新創公司與中小型企業
- 建議：使用 Novita AI 提供的 DeepSeek V3 API。
- 優點：成本效益高、易於整合，且可隨業務需求擴展。
- 最佳使用情境：快速建立原型、打造 AI 驅動的應用程式，無需大量前期投資。
總而言之，DeepSeek V3 是一款功能強大的開源模型，在程式碼、數學與推理任務中表現卓越。無論是本地部署還是透過 API 存取，都能為各種使用案例提供彈性。本地部署提供完整控制權，但需要大量硬體資源。或者，像 Novita AI 這樣的平台提供更便捷的方式來利用該模型的能力。最佳選擇取決於你專案的需求、技術專業知識與預算。
常見問題
DeepSeek V3 如何實現高效能？
DeepSeek V3 採用 混合專家（MoE） 架構，每個 token 僅啟動 370 億個參數 。它使用 ** 多頭潛在注意力機制（MLA） 和 ** 多 Token 預測（MTP） 目標來降低資源消耗，並加速訓練與推理。
DeepSeek V3 的主要優勢是什麼？
DeepSeek V3 在程式碼、數學、推理與一般知識任務中表現出色，並具備強大的英文與中文多語言支援。它在各種基準測試中展現卓越效能，經常超越其他開源甚至封閉原始碼模型。
DeepSeek V3 的 VRAM 需求為何？
DeepSeek V3 的 VRAM 需求因精度而異。對於 FP16，671B 模型約需 1,543 GB 的 VRAM，而使用 4 位元量化時，約需 386 GB 的 VRAM。啟動的參數為 37B。
Novita AI 是全方位雲端平台，助力你的 AI 抱負。整合 API、無伺服器、GPU 實例——你所需的成本效益工具。無需基礎設施，免費開始，讓你的 AI 願景成真。
