DeepSeek V3：推動開源程式碼模型的進展，現已上線 Novita AI

開源創新的世界因 DeepSeek V3 的發佈而邁出重大步伐，這款先進的程式碼生成模型有望重新定義開發者處理程式設計任務的方式。現已上線 Novita AI，這款突破性的模型將為開發者、研究人員與科技愛好者帶來無與倫比的能力。

什麼是 DeepSeek V3？

DeepSeek V3 是一款尖端的混合專家（MoE）大型語言模型，擁有 6710 億個參數，其中 370 億個參數會在推理過程中的每個 token 被啟動。作為開源模型釋出，它讓開發者能夠應對程式碼撰寫、推理、數學與文字生成等複雜挑戰。

DeepSeek V3 以其高效的架構與具成本效益的訓練脫穎而出。其訓練僅需 278.8 萬個 H800 GPU 小時，花費約 550 萬美元，遠低於 GPT-4 等類似封閉原始碼模型所需的資源。透過整合多頭潛在注意力（MLA）與多 token 預測（MTP）等創新技術，DeepSeek V3 在保持可擴展性與可存取性的同時，提供卓越的效能。

DeepSeek V3 的主要功能

1. 混合專家（MoE）架構

DeepSeek V3 採用具備細粒度動態負載平衡技術的 MoE 框架。與傳統 MoE 模型不同，它無需輔助損失函數，確保計算資源在效能不下降的情況下有效分配。

2. 多頭潛在注意力（MLA）

MLA 透過壓縮注意力鍵與值來提升推理效率，減少記憶體開銷，同時維持高注意力品質。這使得 DeepSeek V3 能夠處理長達 128K token 的上下文視窗，非常適合處理延伸文字輸入的任務。

3. 多 token 預測（MTP）

MTP 目標允許 DeepSeek V3 同時預測多個 token，提升訓練效率與推理速度。此功能對於生成長篇內容或解決複雜問題特別有用。

4. FP8 混合精度訓練

DeepSeek V3 使用 FP8（8 位元浮點數）精度進行訓練，在維持數值穩定性的同時，減少記憶體與計算成本。這項創新使模型能夠高效擴展，無需大型硬體配置。

5. 英文與中文支援

DeepSeek V3 針對英文與中文進行最佳化，是開發者構建這兩種廣泛使用語言的多語言應用程式的絕佳選擇。雖然它不支援廣泛的語言，但在這些特定領域表現出色。

DeepSeek V3 的基準測試表現

DeepSeek V3 在各種基準測試中 consistently 超越許多開源甚至封閉原始碼模型。以下是其表現的比較：

1. 程式碼卓越性：
   • DeepSeek V3 在 HumanEval-Mul（Pass@1） 上達到 82.6%，在 Codeforces 上達到 51.6%，是程式碼生成與評估任務的強大解決方案。
   • 在 LiveCodeBench（Pass@1-COT） 上，它大幅超越前代產品，達到 40.5%，並與其他模型競爭。
2. 數學推理：
   • DeepSeek V3 在 MATH-500（90.2%） 上領先，並在 CNMO 2024（Pass@1） 與 AIME 2024 上表現強勁，展現其處理進階數學問題解決的能力。
3. 多語言能力：
   • 在 CLUEWSC 上達到 90.9%，在 C-Eval 上達到 86.5%，DeepSeek V3 鞏固了其作為中文特定任務優秀模型的地位，同時在 MMLU（88.5%）等英文基準測試中保持強勁表現。
4. 通用知識與推理：
   • 在 DROP（3-shot F1） 上達到 91.6%，在 MMLU-Redux 上達到 89.1%，展現其在知識密集型應用中的實用性。

立即試用 DeepSeek V3 示範

DeepSeek V3 的部署選項

DeepSeek V3 提供靈活的部署方式，讓使用者能無縫整合到工作流程中。無論您偏好在本機執行或在雲端執行，模型都支援多種硬體與開源社群軟體工具。以下是建議的部署選項：

1. DeepSeek-Infer 示範：一個簡單輕量的 FP8 與 BF16 推理示範，提供簡便的模型測試方式。
2. SGLang：完全支援 BF16 與 FP8 推理模式的 DeepSeek-V3 模型，多 token 預測支援即將推出。
3. LMDeploy：支援本機與雲端部署的高效 FP8 與 BF16 推理。
4. TensorRT-LLM：目前支援 BF16 推理與 INT4/INT8 量化，FP8 支援計畫於未來更新中推出。
5. vLLM：支援 FP8 與 BF16 模式的 DeepSeek V3，實現張量並行與管線並行以進行高效擴展。

透過 Novita AI 存取 DeepSeek V3 API

Novita AI 平台透過提供預先配置的 API 與經濟實惠的 GPU 雲端基礎設施，簡化了 DeepSeek V3 的部署。開發者無需擔心硬體設定或可擴展性，即可將模型無縫整合到應用程式中。

若要開始在 Novita AI 上使用 DeepSeek V3，請按照以下步驟操作：

步驟 1： 前往 Novita AI，使用您的 Google、GitHub 帳戶或電子郵件地址登入

步驟 2： 試用 DeepSeek V3 示範。

步驟 3： 在 Novita AI 上監控模型的 LLM 指標主控台。

步驟 4： 取得您的 API 金鑰：

• 在設定中導覽至「金鑰管理」
• 首次登入時會建立預設金鑰
• 點擊「+ 新增金鑰」以產生其他金鑰

步驟 5： 設定您的開發環境，並配置內容、角色、名稱與提示等選項

API 整合

Novita AI 提供 Curl、Python 與 JavaScript 的用戶端程式庫，讓您輕鬆將 DeepSeek-R1 Instruct 整合到專案中：

Python 使用者：

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<您的 Novita AI API 金鑰>",
)

model = "deepseek/deepseek_v3"
stream = True # 或 False
max_tokens = 8192
system_content = """成為一個有用的助手"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "你好！",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

JavaScript 使用者：

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "https://api.novita.ai/v3/openai",
  apiKey: "<您的 Novita AI API 金鑰>",
});
const stream = true; // 或 false

async function run() {
  const completion = await openai.chat.completions.create({
    messages: [
      {
        role: "system",
        content: "成為一個有用的助手",
      },
      {
        role: "user",
        content: "你好！",
      },
    ],
    model: "deepseek/deepseek_v3",
    stream,
    response_format: { type: "text" },
    max_tokens: 8192,
    temperature: 1,
    top_p: 1,
    min_p: 0,
    top_k: 50,
    presence_penalty: 0,
    frequency_penalty: 0,
    repetition_penalty: 1
  });

  if (stream) {
    for await (const chunk of completion) {
      if (chunk.choices[0].finish_reason) {
        console.log(chunk.choices[0].finish_reason);
      } else {
        console.log(chunk.choices[0].delta.content);
      }
    }
  } else {
    console.log(JSON.stringify(completion));
  }
}

run();

Curl 使用者：

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <您的 Novita AI API 金鑰>" \
  -d @- << 'EOF'
{
    "model": "deepseek/deepseek_v3",
    "messages": [
        {
            "role": "system",
            "content": "成為一個有用的助手"
        },
        {
            "role": "user",
            "content": "你好！"
        }
    ],
    "response_format": { "type": "text" },
    "max_tokens": 8192,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF

立即釋放 DeepSeek V3 的威力

DeepSeek V3 代表了開源 AI 的突破，結合了可擴展性、成本效益與卓越效能。搭配跨 GPU 與雲端平台的多元部署選項，DeepSeek V3 是開發者與企業的強大工具。

立即開始 在 Novita AI 上使用 DeepSeek V3，為您的專案解鎖進階 AI 的潛力。

關於 Novita AI

Novita AI 是一個 AI 雲端平台，提供開發者透過簡單 API 輕鬆部署 AI 模型的方式，同時也提供經濟實惠且可靠的 GPU 雲端用於構建與擴展。