如何以4種方式存取 DeepSeek V3 0324？

重點摘要

DeepSeek V3 0324 在邏輯推理、數學解題、函式呼叫準確度以及特定語言能力方面帶來了大幅強化。

您可以在 Novita AI 上開始免費試用！

一個主要亮點是擴展至 128,000 個 token 的上下文視窗，能夠更佳地理解長篇內容。
定價極具競爭力：每 100 萬輸入 token 只需 0.39 美元，每 100 萬輸出 token 只需 1.3 美元。

DeepSeek 再次透過 DeepSeek-V3-0324 這個開源語言模型，在人工智慧領域樹立了新的標竿。該模型輕鬆超越 GPT-4.5 與 Claude 3.7 Sonnet 等頂尖競爭對手。

什麼是 DeepSeek V3 0324？

DeepSeek V3 0324 概覽

基本資訊	發布日期	2025 年 3 月 24 日
	模型大小	671B 參數（每個 token 啟用 37B）
	開源	是
	架構	混合專家 (MoE)
	能力	支援函式呼叫
語言支援	支援的多語言	中文能力增強
多模態	多模態能力	文字對文字
訓練	訓練資料	14.8 兆個多樣化 token
依精度區分的模型大小	張量類型	BF16 / F8_E4M3 / F32

DeepSeek V3 0324 重點功能

前端網頁開發

• 改善程式碼可執行性：
  • 遵循最佳實務，如使用語意化 HTML、保持程式碼整潔、使用版本控制，以確保可讀性與可維護性。
• 更美觀的網頁與遊戲前端：
  • 使用響應式設計與 CSS 框架（例如 Sass、Bootstrap），提升不同裝置上的視覺吸引力與版面配置。

中文寫作能力

• 提升風格與內容品質：
  • 學習並模仿《蘭亭集序》等優雅文風，提升寫作的流暢度與優美度。
• 中長篇寫作品質更佳：
  • 運用「起、承、轉、合」的結構，讓寫作脈絡清晰、邏輯流暢。

功能強化

• 改善多輪互動式改寫：
  • 開發具自然語言處理的工具，支援多輪對話並增強互動性。
• 最佳化翻譯品質與書信寫作：
  • 使用 DeepSeek 等機器學習模型提升翻譯準確度，並針對書信提供寫作風格建議。

Novita AI 已推出 DeepSeek V3 0324，提供更長的 128,000 上下文視窗與超值價格（每 100 萬輸入 token 0.39 美元，每 100 萬輸出 token 1.3 美元）。

此外，此版本完全支援 函式呼叫。

您可以在 Novita AI 上開始免費試用！

在本機使用 DeepSeek V3 0324

硬體需求

模型	模型 VRAM	GPU 需求	GPU 需求
DeepSeek V3 0324	約 1532 GB	24 張 H100（80*24GB）	1920 GB
4-bit 模型	約 386 GB	8 張 H100（80*24GB）	640 GB

也可以選擇其他位元方式：

資料來源：unsloth

逐步指南

步驟 1：取得並建置 llama.cpp

1. 複製倉庫並安裝相依套件：

<code>sudo apt-get update sudo apt-get install -y pciutils build-essential cmake curl libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp</code>

2. 建置 llama.cpp：

<code>make llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON</code>

3. 編譯二進位檔：

<code>cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp</code>

步驟 2：下載模型

1. 安裝所需的 Python 函式庫：

<code>pip install huggingface_hub hf_transfer</code>

2. 下載 DeepSeek-V3-0324 GGUF 模型：

import os
from huggingface_hub import snapshot_download

os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
snapshot_download(
    repo_id="unsloth/DeepSeek-V3-0324-GGUF",
    local_dir="unsloth/DeepSeek-V3-0324-GGUF",
    allow_patterns=["*UD-Q2_K_XL*"]  # Dynamic 2.7-bit (230GB)
)

步驟 3：執行模型

根據您的硬體調整參數：

--threads：CPU 執行緒數量（例如，多核心 CPU 可設為 32）。

--ctx-size：上下文長度（例如，大記憶體可設為 16384）。

--n-gpu-layers：卸載至 GPU 的層數。提高此值可提升效能，但若 GPU 記憶體不足則應減少。若省略則僅使用 CPU 進行推理。

透過 API 使用 DeepSeek V3 0324

Novita AI 是一個 AI 雲端平台，為開發者提供簡單的 API 以便部署 AI 模型，同時也提供經濟實惠且可靠的 GPU 雲端來建置與擴展應用。

步驟 1：登入並存取模型庫

登入您的帳號，然後點選 模型庫 按鈕。

立即試用 DeepSeek V3 0324 示範！

步驟 2：選擇您的模型

瀏覽可用的選項，然後選擇適合您需求的模型。

步驟 3：開始免費試用

開始免費試用，探索所選模型的功能。

步驟 4：取得 API 金鑰

為了向 API 進行驗證，我們會提供您一組新的 API 金鑰。進入「設定」頁面，您可以按照圖示複製 API 金鑰。

步驟 5：安裝 API

使用您程式語言對應的套件管理器安裝 API。

安裝完成後，將必要的函式庫匯入您的開發環境。使用 API 金鑰初始化 API，即可開始與 Novita AI LLM 互動。以下是針對 Python 使用者使用聊天補全 API 的範例。

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<您的 Novita AI API 金鑰>",
)

model = "deepseek/deepseek-v3-0324"
stream = True # 或 False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

透過 Chatbox 使用 DeepSeek V3 0324

步驟 1：安裝 Chatbox

1. 選擇 「設定」 選項。此設定可確保與遵循 OpenAI API 標準的 API（如 Novita AI）相容。
2. 填入設定欄位：
   • Base URL：輸入 https://api.novita.ai/v3/openai。
   • API Key：在此貼上您的 Novita AI API 金鑰。
   • Model Name：貼上您稍早複製的模型名稱（例如 deepseek/deepseek-v3-0324）。
3. 設定完成後，點選 Done。

透過雲端 GPU 使用 DeepSeek V3 0324

步驟 1：註冊帳號

如果您是 Novita AI 的新用戶，請先到官網創建帳號。註冊完成後，前往「GPUs」分頁探索可用資源，開始您的旅程。

步驟 2：探索範本與 GPU 伺服器

首先選擇符合您專案需求的範本，例如 PyTorch、TensorFlow 或 CUDA。選擇符合需求的版本，例如 PyTorch 2.2.1 或 CUDA 11.8.0。接著選擇 A100 GPU 伺服器設定，該伺服器具備強大的效能，可處理要求嚴苛的工作負載，並提供充足的 VRAM、RAM 與磁碟容量。

試用 Novita AI 的高效能 GPU

步驟 3：自訂部署

選擇範本與 GPU 之後，您可以自訂部署設定，例如調整作業系統版本（如 CUDA 11.8）。您也可以微調其他設定，以符合專案的特定需求。

步驟 4：啟動實例

完成範本與部署設定後，點選「Launch Instance」來啟動 GPU 實例。系統將開始設定環境，讓您立即開始使用 GPU 資源進行 AI 任務。

Novita AI 與 15 個平台整合

Novita AI 已與 15 個平台整合，詳細教學請參閱文件。

查看您的應用程式整合是否已完成？

DeepSeek V3 0324 代表了 AI 能力的重大進步，以經濟實惠的定價結構提供高效能。其多語言能力、擴展的上下文視窗以及對函式呼叫的支援，使其成為開發者的多功能工具。無論是本機使用或是透過 Novita AI API 存取，DeepSeek V3 0324 都為從自然語言處理到多模態應用等各種 AI 任務提供了強大的解決方案。

常見問題

DeepSeek V3 0324 的定價為何？

每 100 萬輸入 token 為 0.39 美元，每 100 萬輸出 token 為 1.3 美元，對於使用 Novita AI 的開發者而言極具成本效益。

在本機執行 DeepSeek V3 0324 需要什麼硬體？

該模型需要大量硬體資源，包括約 1532 GB 的 VRAM 以及 24 張各 80GB 的 H100 GPU，總計 1920 GB。

DeepSeek V3 0324 支援函式呼叫嗎？

是的，它完全支援函式呼叫，讓開發者能將其整合至更複雜的工作流程中。

Novita AI 是一個 AI 雲端平台，為開發者提供簡單 API 以輕鬆部署 AI 模型，同時也提供經濟實惠且可靠的 GPU 雲端來建置與擴展應用。

推薦閱讀

• 為什麼 LLaMA 3.3 70B VRAM 需求對家用伺服器是一項挑戰？
• Qwen 2.5 72b 與 Llama 3.3 70b：哪個模型符合您的需求？
• Qwen 2.5 與 Llama 3.2 90B：程式碼與影像推理能力比較分析