- Qwen 2.5 7B는 고급 프로그래밍 및 수학 능력, 향상된 명령 수행 능력, 구조화된 텍스트 생성을 제공합니다.
- 최대 128K 토큰의 컨텍스트 길이를 지원하여 더 포괄적이고 일관된 출력이 가능합니다.
- Novita AI는 Qwen 2.5 7B 모델을 무료로 제공하며 오픈소스 커뮤니티를 지원합니다.
Qwen 2.5 7B는 개발자와 연구자의 다양한 요구를 충족하도록 설계된 강력한 오픈소스 언어 모델입니다. 주요 영역에서의 획기적인 개선을 통해 커뮤니티에 가치 있는 리소스로 자리 잡고 있습니다. 이 모델의 주요 내용은 다음과 같습니다.
Qwen 2.5 7B란?
또한 모델 제품군으로서 Qwen 2.5는 다양한 파라미터 크기, 컨텍스트 윈도우, 특화 영역(일반, 코드, 수학)을 아우르는 다른 모델도 포함합니다.
Qwen 2.5 제품군
다양한 모델 아키텍처와 규모
Qwen2.5 시리즈는 0.5B에서 72B 파라미터에 이르는 모델 크기를 지원하여 경량부터 대규모 애플리케이션까지 다양한 시나리오의 요구를 충족합니다.
레이어 수와 어텐션 헤드(Q/KV)는 모델 크기가 커짐에 따라 증가하여 모델 복잡도가 높아집니다.
컨텍스트 윈도우 및 생성 길이
대부분의 기본 모델은 128K의 컨텍스트 길이를 가지며, 소형 모델(0.5B, 1.5B, 3B)은 32K, Math 버전은 4K입니다.
주류 생성 길이는 8K이며, Coder 및 Math 버전은 2K입니다.
Tie Embedding 변경 사항
소형 모델(0.5B, 1.5B, 3B)과 모든 Coder/Math-1.5B 버전은 Tie Embedding을 사용하는 반면, 대형 모델은 사용하지 않습니다.
이는 소형 모델의 파라미터 효율성과 일반화 성능 향상에 도움이 될 수 있습니다.
풍부한 모델 유형
범용 모델 외에도 Coder(코드 특화) 및 Math(수학 특화) 하위 시리즈가 있어 다양한 수직 영역의 요구를 충족합니다.
Qwen 2.5 7B 벤치마크
Qwen 2.5 7B 하드웨어 요구 사항
Qwen 2.5 7B에 액세스하는 방법
Novita AI는 개발자가 간단한 API를 통해 AI 모델을 손쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 함께 제공합니다.
1단계: 로그인 및 모델 라이브러리 접속
계정에 로그인하고 모델 라이브러리 버튼을 클릭합니다.
2단계: 무료 체험 시작
선택한 모델의 기능을 살펴보기 위해 무료 체험을 시작하세요.
3단계: API 키 받기
API 인증을 위해 새로운 API 키를 제공합니다. “설정” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사하세요.
4단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치합니다.
설치 후, 필요한 라이브러리를 개발 환경에 가져옵니다. API 키를 사용해 API를 초기화하면 Novita AI LLM과 상호작용할 수 있습니다. 다음은 Python 사용자를 위한 채팅 완료 API 사용 예시입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen2.5-7b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Qwen 2.5 7B는 오픈소스 언어 모델의 새로운 기준을 제시하며, 코딩, 수학, 다국어 이해 분야에서 뛰어난 성능을 제공합니다. 다재다능함, 확장성, 효율적인 하드웨어 사용 덕분에 최첨단 AI 기능을 원하는 개발자와 기업에게 최고의 선택입니다.
자주 묻는 질문
Qwen 2.5 7B는 유사한 모델과 어떻게 비교되나요?
Qwen 2.5 7B는 수학, 코딩, 일반 벤치마크, 특히 긴 컨텍스트 및 구조화된 데이터 작업에서 많은 동급 모델을 능가합니다.
Qwen 2.5 7B에 어떻게 액세스할 수 있나요?
Qwen 2.5 7B를 Novita AI 플랫폼을 통해 배포할 수 있으며, 쉬운 API 통합과 확장 가능한 GPU 클라우드 솔루션을 제공합니다.
Qwen 2.5 7B의 하드웨어 요구 사항은 무엇인가요?
FP16 정밀도의 경우 단일 RTX 4090(24GB)이 권장됩니다. FP32의 경우 두 개의 RTX 4090 GPU가 필요합니다. Q4 양자화를 사용하면 RTX 3060에서 실행할 수 있습니다.
Novita AI는 개발자가 간단한 API를 통해 AI 모델을 손쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 함께 제공합니다.
