关键亮点
卓越性能
Qwen 2-7B 基于 Transformer 架构构建，采用 SwiGLU 激活 、 注意力 QKV 偏置 ** 和 ** 分组查询注意力 (GQA) 等高级特性，可实现更快的推理速度和更少的内存占用。它支持高达 131,072 个 token 的上下文长度，非常适合长上下文任务。
如何本地访问 Qwen 2-7B
本地访问需要高性能 GPU（例如 NVIDIA RTX 4080 Super），并且至少需要 15.4 GB 显存。
如何通过 API 访问 Qwen 2-7B
像 Novita AI 这样的平台提供了简单的设置，无需硬件投入。
使用建议
本地访问适合需要完全控制的研究人员，而 API 访问则适合寻求快速部署和易用性的开发者和企业。
Qwen 2-7B 是一种经济高效的语言模型，性能出色，非常适合自然语言理解和代码生成等应用。
什么是 Qwen 2 7B？
Qwen 2 - 7B 是 Qwen 系列中的先进模型，基于 Transformer 架构构建。它是参数规模从 0.5 到 720 亿的语言模型系列的一部分，其中 Qwen 2-7B-Instruct 是经过微调、针对指令优化的变体。
主要特性
- Transformer 架构：采用 SwiGLU 激活、注意力 QKV 偏置和分组查询注意力。
- 分词器：增强的分词器，能够处理多种自然语言和编程代码。
- 训练：在大量数据集上预训练，并通过监督微调和直接偏好优化进行优化。
- 上下文长度：支持高达 131,072 个 token，适用于长上下文任务。
- 语言支持：在英语和中文上表现出色，同时支持其他语言。
基准测试
来源：LLM EXPLORER
Qwen2.5-7B Instruct：
- 整体最佳性能，在 MMLU Pro、MUSR、IFEval 和 MATH Level 5 中领先。
- 数学推理能力显著提升（MATH Level 5: 50）。
Qwen2-7B Instruct：
- 在 GPQA 和 BBH 中表现最佳。
- 一个全面均衡的模型，但在大多数其他指标上略落后于 Qwen2.5-7B。
DeepSeek R1 Distill Qwen-7B：
- 在所有基准测试中表现最低。
- 适用于轻量级任务，但在复杂基准测试中远落后于 Qwen2 模型。
与其他 Qwen 模型的比较
Qwen 2 系列包含五种尺寸的基础模型和指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。以下是这些模型的关键信息汇总：
来自 Qwen
1. 分组查询注意力 (GQA)
- 所有模型（Qwen2-0.5B、Qwen2-7B、Qwen2-57B、Qwen2-72B）都采用 GQA，具有以下优势：
- 更快的推理速度。
- 更少的内存占用。
- 与 Qwen1.5 相比这是一个重大改进，因为 Qwen1.5 只有大型模型（32B 和 110B）使用了 GQA。
2. 上下文长度
- 基础模型（Qwen2-0.5B、Qwen2-7B、Qwen2-57B、Qwen2-72B）：
- 预训练时的上下文长度为 32K token。
- 在基于困惑度（PPL）的评估中，展现出最高 128K token 的强外推能力。
- 指令微调模型（Qwen2-7B-Instruct、Qwen2-72B-Instruct）：
- 使用“大海捞针”等任务进行评估。
- 在长上下文任务中表现非常出色，能力可扩展至 128K token，尤其是在结合 YARN 的情况下。
3. 多语言能力
- 所有模型（Qwen2-0.5B、Qwen2-7B、Qwen2-57B、Qwen2-72B）：
- 得益于改进的预训练数据集，除了英语和中文之外，还包含另外 27 种语言。
- 多语言性能随模型规模提升，较大模型（Qwen2-57B、Qwen2-72B）在更复杂的多语言任务中表现出色。
如果你想查看与其他模型（如 Qwen 2.5 72B）更详细的参数对比，可以阅读这篇文章：Qwen 2.5 72b vs Llama 3.3 70b：哪个模型适合你？；Qwen 2.5 vs Llama 3.2 90B：编码和图像推理能力的对比分析。
如何本地访问 Qwen 2 7B
GPU 推荐
| **型号 ** | ** 显存容量 ** | ** 内存类型 ** | ** 相对性能 ** | ** 价格范围** |
|---|---|---|---|---|
| NVIDIA RTX 4080 Super | 16 GB | GDDR6X | 高 | ⭐⭐⭐⭐⭐（高端） |
| AMD RX 7900 XTX | 24 GB | GDDR6 | 高 | ⭐⭐⭐⭐⭐（高端） |
| NVIDIA RTX 4070 Ti Super | 16 GB | GDDR6X | 中高 | ⭐⭐⭐⭐（中高端） |
| AMD RX 7600 XT | 16 GB | GDDR6 | 中 | ⭐⭐⭐（中端） |
| NVIDIA RTX 4060 Ti (16GB) | 16 GB | GDDR6 | 中 | ⭐⭐⭐（中端） |
快速开始
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2-7B-Instruct",
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B-Instruct")
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
如何通过 Novita AI 访问 Qwen 2 7B
分步指南
Novita AI 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的便捷方式，同时提供经济可靠的 GPU 云用于构建和扩展。
第一步：登录并访问模型库
登录您的账户，点击 模型库 按钮。
第二步：选择模型
浏览可用选项，选择适合您需求的模型。
第三步：开始免费试用
开始免费试用，探索所选模型的能力。
第四步：获取您的 API 密钥
为了通过 API 进行身份验证，我们将为您提供一个新的 API 密钥。进入 “设置” 页面，您可以按照图像所示复制 API 密钥。
第五步：安装 API
使用适用于您编程语言的包管理器安装 API。
安装后，将必要的库导入到您的开发环境中。使用您的 API 密钥初始化 API，开始与 Novita AI LLM 交互。以下是使用 Python 用户进行聊天补全 API 的示例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen-2-7b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
注册后，Novita AI 会提供 $0.5 的积分让您开始使用！
如果免费积分用完，您可以付费继续使用。
哪种方法适合您？
本地访问与 API 访问对比
本地访问
优点：
- 对模型及其配置有更多控制权。
- 通过利用 YARN 增强模型长度外推能力，适合处理长文本。
- 无持续性成本。
缺点：
- 需要大量硬件资源，包括 15.4 GB 显存。
- 设置和配置复杂。
API 访问（例如 Novita AI）
优点：
- 易于设置和使用，提供分步指南。
- 无需本地硬件资源。
缺点：
- 需要互联网连接。
- 按 token 计费：每百万输入 token $0.054 和 ** 每百万输出 token $0.054**。
- 对模型定制和配置的控制有限。
针对不同用户群体的建议
- 研究人员： 本地访问通常更适合，因为灵活性和对实验的控制更重要。
- 开发者：
- API 访问适用于构建应用程序和快速原型开发。
- 本地访问更适合微调和自定义工作流程。
- 企业： API 访问有利于快速集成到服务中，无需高昂的前期成本。本地部署适合需求稳定且有能力投资基础设施的团队。
- 小型团队/个人： API 访问通常更实用，因为启动成本较低。
- 技术能力有限的用户： API 访问更可取，因为它无需深入的技术知识。
Qwen 2 - 7B 是一款多功能且强大的模型，适用于广泛的应用场景。它同时支持本地和 API 访问，让用户可以根据自己的具体需求、可用资源和技术专长选择最合适的选项。
常见问题
Qwen2 模型的关键架构特性是什么？
Qwen2 模型采用基于 Transformer 的架构，具有 SwiGLU 激活、注意力 QKV 偏置和分组查询注意力 (GQA) 等特性。
Qwen2 模型支持哪些上下文长度？
基础语言模型在 32K token 上下文长度上进行了预训练，一些模型在 PPL 评估中展现出最高 128K token 的外推能力。
Novita AI 是一个一站式云平台，助力您的 AI 愿景。集成 API、无服务器、GPU 实例——您所需的成本高效工具。消除基础设施，免费开始，让您的 AI 愿景成为现实。
