English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

DeepSeek V3：推进开源代码模型，现已登陆 Novita AI

作者 / / 更新 / 5 分钟阅读
DeepSeek V3：推进开源代码模型，现已登陆 Novita AI
目录
  1. 什么是 DeepSeek V3？
  2. DeepSeek V3 的主要功能
  3. DeepSeek V3 的基准性能
  4. DeepSeek V3 的部署选项
  5. 通过 Novita AI 访问 DeepSeek V3 API
  6. 立即释放 DeepSeek V3 的强大功能

开源创新的世界正因 DeepSeek V3 的发布而迈出重大一步，这款先进的代码生成模型有望重新定义开发者处理编程任务的方式。现在，这款突破性模型已在 Novita AI 上可用，为开发者、研究人员和技术爱好者带来前所未有的能力。

什么是 DeepSeek V3？

DeepSeek V3 是一款最先进的混合专家模型（MoE）大语言模型，拥有 6710 亿参数，其中每个 token 在推理时激活 370 亿参数。作为开源模型发布，它使开发者能够应对编码、推理、数学和文本生成等领域的复杂挑战。

DeepSeek V3 以其高效的架构和经济的训练成本脱颖而出。其训练仅需 278.8 万 H800 GPU 小时，成本约 550 万美元，远低于 GPT-4 等同类闭源模型所需的资源。通过采用多头潜在注意力（MLA）和多 token 预测（MTP）等创新技术，DeepSeek V3 在保持可扩展性和可访问性的同时，提供了卓越的性能。

DeepSeek V3 的主要功能

1. 混合专家模型（MoE）架构

DeepSeek V3 采用 MoE 框架，并结合细粒度动态负载均衡技术。与传统 MoE 模型不同，它无需辅助损失函数即可确保计算资源高效分配，且无性能下降。

2. 多头潜在注意力（MLA）

MLA 通过压缩注意力键和值来提高推理效率，在保持高注意力质量的同时减少内存开销。这使得 DeepSeek V3 能够处理高达 128K token 的长上下文窗口，非常适合处理长文本输入的任务。

3. 多 token 预测（MTP）

MTP 目标允许 DeepSeek V3 同时预测多个 token，从而提高训练效率和推理速度。此功能对于生成长篇内容或解决复杂问题特别有用。

4. FP8 混合精度训练

DeepSeek V3 使用 FP8（8 位浮点）精度进行训练，降低了内存和计算成本，同时保持数值稳定性。这一创新使得模型无需大量硬件资源即可高效扩展。

5. 英语和中文语言支持

DeepSeek V3 针对英语和中文进行了优化，是构建这两种广泛使用语言的多语言应用程序的开发者的绝佳选择。虽然它不支持多种语言，但在这两个特定领域表现出色。

DeepSeek V3 的基准性能

DeepSeek V3 在多项基准测试中持续超越众多开源甚至闭源模型。以下是其性能对比：

DeepSeek 3 基准测试

  1. 卓越编码能力：
    • DeepSeek V3 在 HumanEval-Mul（Pass@1） 上达到 82.6%，在 Codeforces 上达到 51.6%，是代码生成和评估任务的强大解决方案。
    • 在 LiveCodeBench（Pass@1-COT） 上，它以 40.5% 的成绩显著领先其前代模型，并与其他模型竞争激烈。
  2. 数学推理：
    • DeepSeek V3 在 MATH-500（90.2%） 上领先，并在 CNMO 2024（Pass@1） 和 AIME 2024 上表现出色，展示了处理高级数学问题的能力。
  3. 多语言能力：
    • 在 CLUEWSC（90.9%） 和 C-Eval（86.5%） 上，DeepSeek V3 巩固了其作为中文特定任务优秀模型的地位，同时在英语基准测试 MMLU（88.5%） 中也保持了强劲性能。
  4. 通用知识与推理：
    • 它在 DROP（3-shot F1） 上达到 91.6%，在 MMLU-Redux 上达到 89.1%，展示了在知识密集型应用中的实用性。

立即试用 DeepSeek V3 演示

DeepSeek V3 的部署选项

DeepSeek V3 提供灵活的部署方式，使用户能够无缝集成到工作流中。无论您更喜欢本地运行还是云端部署，该模型都支持多种硬件和开源社区软件工具。以下是推荐的部署选项：

  1. DeepSeek-Infer Demo：一个简单轻量的演示，支持 FP8 和 BF16 推理，便于测试模型。
  2. SGLang：完全支持 DeepSeek-V3 模型的 BF16 和 FP8 推理模式，多 token 预测支持即将推出。
  3. LMDeploy：支持本地和云端的高效 FP8 和 BF16 推理。
  4. TensorRT-LLM：当前支持 BF16 推理和 INT4/INT8 量化，FP8 支持计划在后续更新中提供。
  5. vLLM：支持 FP8 和 BF16 模式下的 DeepSeek V3，实现张量并行和流水线并行的高效扩展。

通过 Novita AI 访问 DeepSeek V3 API

Novita AI 平台通过提供预配置的 API 和经济实惠的 GPU 云基础设施，简化了 DeepSeek V3 的部署。开发者无需担心硬件设置或可扩展性，即可将模型无缝集成到应用程序中。

要在 Novita AI 上开始使用 DeepSeek V3，请按照以下步骤操作：

步骤 1： 前往 Novita AI，使用您的 Google、GitHub 帐户或电子邮件地址登录。

步骤 2： 试用 DeepSeek V3 演示。

Deepseek v3

步骤 3： 在 Novita AI 上监控模型的 LLM 指标控制台。

步骤 4： 获取您的 API 密钥：

  • 在设置中导航到“密钥管理”
  • 首次登录时会创建一个默认密钥
  • 点击“+ 添加新密钥”生成更多密钥

步骤 5： 设置您的开发环境，并配置内容、角色、名称和提示等选项。

API 集成

Novita AI 提供了 Curl、Python 和 JavaScript 的客户端库，方便您将 DeepSeek-R1 Instruct 集成到项目中：

对于 Python 用户：

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "deepseek/deepseek_v3"
stream = True # or False
max_tokens = 8192
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

对于 JavaScript 用户：

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "https://api.novita.ai/v3/openai",
  apiKey: "<YOUR Novita AI API Key>",
});
const stream = true; // or false

async function run() {
  const completion = await openai.chat.completions.create({
    messages: [
      {
        role: "system",
        content: "Be a helpful assistant",
      },
      {
        role: "user",
        content: "Hi there!",
      },
    ],
    model: "deepseek/deepseek_v3",
    stream,
    response_format: { type: "text" },
    max_tokens: 8192,
    temperature: 1,
    top_p: 1,
    min_p: 0,
    top_k: 50,
    presence_penalty: 0,
    frequency_penalty: 0,
    repetition_penalty: 1
  });

  if (stream) {
    for await (const chunk of completion) {
      if (chunk.choices[0].finish_reason) {
        console.log(chunk.choices[0].finish_reason);
      } else {
        console.log(chunk.choices[0].delta.content);
      }
    }
  } else {
    console.log(JSON.stringify(completion));
  }
}

run();

对于 Curl 用户：

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <YOUR Novita AI API Key>" \
  -d @- << 'EOF'
{
    "model": "deepseek/deepseek_v3",
    "messages": [
        {
            "role": "system",
            "content": "Be a helpful assistant"
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
    ],
    "response_format": { "type": "text" },
    "max_tokens": 8192,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF

立即释放 DeepSeek V3 的强大功能

DeepSeek V3 代表了开源 AI 的突破，将可扩展性、成本效益和卓越性能融为一体。结合跨 GPU 和云平台的多种部署选项，DeepSeek V3 是开发者和企业的强大工具。

立即开始在 Novita AI 上使用 DeepSeek V3，释放先进 AI 在您项目中的潜力。

关于 Novita AI

Novita AI 是一个 AI 云平台，为开发者提供了通过简单 API 部署 AI 模型的简便途径，同时还提供了经济实惠且可靠的 GPU 云，用于构建和扩展。

相关文章