- Qwen 2.5 7B 擁有先進的程式設計與數學能力，改善的指令遵循能力，以及結構化文字生成。
- 該模型支援最高 128K tokens 的上下文長度，能產生更全面且連貫的輸出。
- Novita AI 免費提供 Qwen 2.5 7B 模型，以支持並回饋開源社群。
Qwen 2.5 7B 是一個強大的開源語言模型，專為滿足開發者與研究人員的多樣需求而設計。在關鍵領域有顯著改進，成為社群中的寶貴資源。以下為本模型的主要亮點：
Qwen 2.5 7B 是什麼？
此外，作為模型家族，Qwen 2.5 還包含其他模型，涵蓋不同參數量、上下文視窗及專業領域（通用、程式碼、數學）。
Qwen 2.5 家族
多樣化的模型架構與規模
Qwen2.5 系列涵蓋從 0.5B 到 72B 參數的模型，滿足從輕量到大型應用的各種場景需求。
層數與注意力頭數 (Q/KV) 隨模型大小增加，帶來更高的模型複雜度。
上下文視窗與生成長度
大多數基礎模型的上下文長度為 128K，而較小模型 (0.5B、1.5B、3B) 為 32K，Math 版本則為 4K。
主流生成長度為 8K，Coder 與 Math 版本則為 2K。
Tie Embedding 的變化
較小模型 (0.5B、1.5B、3B) 及所有 Coder/Math-1.5B 版本使用 Tie Embedding，較大模型則不使用。
這可能有助於提升較小模型的參數效率與泛化能力。
豐富的模型類型
除通用模型外，還有 Coder（程式碼專精）與 Math（數學專精）子系列，滿足不同垂直領域的需求。
Qwen 2.5 7B 基準測試
Qwen 2.5 7B 硬體需求
如何使用 Qwen 2.5 7B？
Novita AI 是一個 AI 雲端平台，讓開發者能透過簡單的 API 輕鬆部署 AI 模型，同時提供價格合理且可靠的 GPU 雲端服務來建置與擴展。
步驟 1：登入並進入模型庫
登入您的帳戶，然後點選 模型庫 按鈕。
步驟 2：開始免費試用
開始免費試用，探索所選模型的功能。
步驟 3：取得您的 API 金鑰
為了驗證 API，我們將為您提供一個新的 API 金鑰。進入 「Settings」 頁面，即可依照圖示複製 API 金鑰。
步驟 4：安裝 API
使用您程式語言專用的套件管理器安裝 API。
安裝完成後，在開發環境中導入必要的函式庫。使用您的 API 金鑰初始化 API，即可開始與 Novita AI LLM 互動。以下是 Python 使用者使用 Chat Completions API 的範例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen2.5-7b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Qwen 2.5 7B 為開源語言模型樹立了新標竿，在程式碼、數學與多語言理解方面展現卓越效能。其多功能性、可擴展性與高效的硬體使用率，使其成為尋求最先進 AI 能力的開發者與企業的首選。
常見問題
Qwen 2.5 7B 與類似模型相比表現如何？
Qwen 2.5 7B 在數學、程式碼與一般基準測試中，尤其在長上下文與結構化資料任務上，表現優於許多同級模型。
如何存取 Qwen 2.5 7B？
您可以透過 Novita AI 平台部署 Qwen 2.5 7B，該平台提供簡單的 API 整合與可擴展的 GPU 雲端解決方案。
Qwen 2.5 7B 的硬體需求為何？
在 FP16 精度下，建議使用單張 RTX 4090 (24GB)。FP32 則需要兩張 RTX 4090。若使用 Q4 量化，則可在 RTX 3060 上運行。
Novita AI 是一個 AI 雲端平台，讓開發者能透過簡單的 API 輕鬆部署 AI 模型，同時提供價格合理且可靠的 GPU 雲端服務來建置與擴展。
