将朋友推荐给 Novita AI，你们双方都将获得 $10 的 LLM API 点数——奖励总额最高可达 $500。
为支持开发者社区，Qwen2.5-7B、Qwen 3 0.6B、Qwen 3 1.7B、Qwen 3 4B 目前在 Novita AI 上免费提供。
Qwen 3 0.6B 专为一个核心使命而设计——以最低成本和延迟解决特定的高频任务。尽管大规模模型占据头条，但从实时搜索到设备端摘要，许多生产需求都要求轻量级解决方案。Qwen 3 0.6B 从强大的父模型蒸馏而来，提供快速、资源高效的性能，非常适合高并发服务、离线推理、垂直微调和内容审核等场景。凭借对 119 种语言的支持以及与 MCP 等工具的内置兼容性，它在智能性和可部署性之间取得了恰当的平衡。
Qwen 3 有哪些改进？
混合
混合思维模式
Qwen3 采用双模式推理设计。对于复杂任务，它会逐步思考；对于简单任务，则即时回复——在速度与深度之间取得平衡，同时优化计算成本。
119
多语言支持
Qwen3 支持 119 种语言和方言。无论是在客户服务、多语言内容还是跨地区编码应用中，它都是全球部署的理想选择。
MCP
增强的智能体能力
Qwen3 集成了 MCP，增强了工具使用、函数调用以及与外部环境的交互——对于自主智能体和插件集成特别有用。
Mac
轻松部署在 Mac 上
从 M1 到 M4 芯片，Qwen3 0.6b 在入门级 Apple Silicon Mac 上也能流畅运行——非常适合使用 VRAM 有限的 MacBook 或 iMac 的开发者。
Qwen 3 0.6B：源自巨人的微型模型
从图中可以看出，Qwen 3 0.6B、1.7B、4B 通过 ** 强到弱蒸馏 ** 过程训练而成，这是创建 ** 轻量级模型** 流水线的一部分。以下是训练过程的逐步分解：
- 基础模型：
该过程从预训练的 基础模型 开始，这些模型是后续训练和蒸馏的基础。 - 前沿模型：
- 基础模型首先通过多阶段训练创建 **前沿模型 **，如 Qwen3-235B-A22B 和 Qwen3-32B。
- 此训练包括：
- 阶段 1（长 CoT 冷启动）：使用长链式思维（CoT）推理进行初始训练。
- 阶段 2（推理 RL）：强化学习（RL）以增强推理能力。
- 阶段 3（思维模式融合）：思维模式（如推理和快速响应模式）的集成。
- 阶段 4（通用 RL）：为更广泛能力进行的通用强化学习。
- 强到弱蒸馏：
- 然后，大型 **前沿模型 **（例如 Qwen3-235B 和 Qwen3-32B）被用作 ** 教师模型 ，来指导 ** 轻量级模型（如 Qwen3-4B）的训练。
- 这一蒸馏过程确保小型模型保留大型模型的知识和性能，同时显著减小规模和计算需求。
- Qwen3 0.6B：
- 作为这一蒸馏过程的结果，Qwen 3 0.6B、1.7B、4B 是轻量级版本，受益于大型模型的知识，同时针对效率进行了优化。
Qwen 3 0.6B：小型模型基准测试中的领先者
总体而言，Qwen 3 0.6b 在推理和定量推理相关测试中表现良好，但在编码相关测试中表现欠佳。
混合 + 119 + MCP + Mac = 高并发 + 设备端 + 垂直场景
1. 高并发、低延迟的在线服务
使用场景： 搜索排序、广告投放、实时聊天——每天需要数百万次查询的场景。
要求： 个位数毫秒的响应时间，并支持超过 10,000 QPS（每秒查询数）。
价值：
- 作为传统 BERT 模型（如 TinyBERT）的轻量级替代，用于查询改写、意图识别、轻量级评分和嵌入生成。
- 支持 Query × Item 级别（例如，一个查询匹配数千个候选项）的批量推理，使得在大模型因延迟和成本不可行的场景下也能部署。
2. 设备端推理与边缘计算
使用场景： 移动应用、物联网设备和隐私敏感型任务（例如本地数据处理）。
要求： 能够离线处理并支持多语言的轻量级模型。
价值：
- 在骁龙 8 等移动芯片上提供 55–60 tokens/s 的速度，支持笔记摘要和基本工具调用（例如 MCP 协议）。
- 支持 119 种语言，非常适合跨境电子商务和多语言客户服务等全球用例——减少对基于云的 LLM 的依赖。
3. 垂直领域的低成本微调
使用场景： 文档解析、数据格式转换、领域特定翻译等小众任务。
要求： 快速训练、低资源消耗和高成本效益。
价值：
- 使用 LLaMA-Factory 等工具轻松微调，只需准备数据集——无需复杂编码。
示例：从 OCR 文本中提取结构化 JSON，成本不到调用大型模型 API 的 0.1%。 - 在医疗或法律等领域的少样本任务（如临床笔记分类）中实现快速、私有部署，降低数据泄露风险。
4. 内容审核与合规预筛选
使用场景： 社交平台或电商评论中用户生成内容的实时审核。
要求： 成本效益高的过滤，以减轻昂贵大型模型的负载。
价值：
- 作为第一道防线，以一小部分成本提供 60–80% 的检测性能，捕获有害语言或敏感话题。
- 与规则引擎配合良好，阻断明显违规内容，仅将复杂案件转发给 LLM 进行进一步审查。
如何通过 Novita API 访问 Qwen 3 小型模型？
步骤 1：登录并访问模型库
登录您的账户，点击 模型库 按钮。
步骤 2：选择模型
浏览可用选项，选择适合您需求的模型。
步骤 3：开始免费试用
开始免费试用，探索所选模型的功能。
步骤 4：获取 API 密钥
为了进行 API 身份验证，我们将为您提供一个新的 API 密钥。进入“设置”页面，您可以按照图示复制 API 密钥。
步骤 5：安装 API
使用您的编程语言对应的包管理器安装 API。
安装后，将必要的库导入您的开发环境。使用您的 API 密钥初始化 API，以开始与 Novita AI LLM 进行交互。以下是 Python 用户使用聊天补全 API 的示例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen3-0.6b-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Qwen 3 0.6B 证明了模型大小不必以牺牲性能为代价。无论您是在构建超快在线服务、运行离线应用，还是部署领域专用工具，这款紧凑型模型都能以极低的成本提供实用、可投入生产的 AI。
常见问题
Qwen 3 0.6B 适合移动设备吗？
是的，它针对边缘部署进行了优化，在骁龙 8 和 Apple Silicon（M1–M4）等芯片上表现出色。
Qwen 3 0.6B 相比其他小型模型有哪些优势？
其混合推理、MCP 工具支持和有竞争力的基准测试结果使其在低于 1B 参数级别中脱颖而出。
Qwen3 模型可以免费使用吗？
是的！Novita AI 提供免费访问 Qwen3 模型的途径，并且 API 集成简单。
Novita AI 是一个 AI 云平台，通过简单的 API 让开发者轻松部署 AI 模型，同时提供经济实惠且可靠的 GPU 云服务，用于构建和扩展。
