오픈소스 AI 커뮤니티를 지원하고 자연어 처리 혁신을 가속화하기 위해 Novita AI 는 5개의 강력한 모델을 API를 통해 무료로 제공합니다. 여기에는 작지만 강력한 Llama 3.2 1B Instruct, 다재다능한 Qwen2.5-7B Instruct, 고성능의 GLM-4-9B-0414 및 GLM-Z1-9B-0414, 그리고 다국어 및 다기능 임베딩 모델 BGE-M3 가 포함됩니다. 이러한 모델에 대한 개방형 액세스를 제공함으로써 Novita AI는 개발자, 연구자, 스타트업이 높은 인프라 비용 부담 없이 AI 애플리케이션을 더 효율적으로 구축, 테스트 및 확장할 수 있도록 지원하는 것을 목표로 합니다.
Llama 3.2 1b instruct
- 모델 크기: 1.23B 파라미터
- 아키텍처: Grouped-Query Attention(GQA), SwiGLU 활성화 함수, Rotary Positional Embeddings(RoPE), RMSNorm을 사용한 최적화된 트랜스포머
- 컨텍스트 길이: 128K 토큰
- 다국어: 공식적으로 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 지원, 더 넓은 언어 세트로 훈련됨
- 모달리티: 텍스트-텍스트(입력 및 출력)
- 훈련 데이터: 공개 온라인 데이터에서 최대 9조 토큰으로 훈련
- 오픈소스: ✅
- 벤치마크: 명령 수행, 요약, 프롬프트 재작성, 도구 사용과 같은 작업에서 강력한 성능을 보여주며, 동일 파라미터급 모델과 경쟁력 있음
Qwen2.5-7b-instruct
Qwen 2.5 7B 는 일반, 수학, 코딩, 다국어 작업에서 강력한 성능을 제공하는 다국어 오픈소스 트랜스포머 모델입니다. 다양한 용도, 경량 배포, 광범위한 언어 지원을 위해 설계되었습니다.
- 모델 크기: 7.61B 파라미터
- 아키텍처: RoPE, SwiGLU, RMSNorm 및 Attention QKV 바이어스가 포함된 트랜스포머
- 컨텍스트 길이: 128K 토큰
- 다국어: 29개 이상의 언어 지원
- 모달리티: 텍스트-텍스트
- 훈련 데이터: 18T+ 토큰으로 훈련
- 오픈소스: ✅
- 벤치마크: Qwen 2.5 7B 는 상대적으로 작은 파라미터 수에도 불구하고 이 벤치마크 스위트의 모든 카테고리(일반 작업, STEM, 코딩, 다국어 이해)에서 1위 를 일관되게 차지합니다.
GLM-4-9b-0414 및 GLM-Z1-9b-0414
GLM-4-9B-0414와 GLM-Z1-9B-0414는 THUDM이 개발한 90억 파라미터 오픈소스 언어 모델로, 각각 다른 작업에 최적화되어 있습니다.
- GLM-4-9B-0414: 대화 생성에 최적화된 모델로, GLM-4-32B의 아키텍처를 계승하며 다중 턴 대화, 번역, 요약 등의 작업에 탁월합니다. 32K 컨텍스트 창을 지원하며, 강력한 언어 이해 및 생성 능력이 필요한 자원 제약 환경에 적합합니다.
- GLM-Z1-9B-0414: 수학적 추론 및 일반 작업에 초점을 맞춘 모델로, 확장된 강화 학습 및 쌍별 순위 정렬과 같은 기술을 통합합니다. 수학, 코드, 논리 작업에서 강력한 성능을 보여주며, 동급 오픈소스 모델 중 많은 성능을 능가합니다.
| 특징 | 값 |
|---|---|
| 모델 크기 | 9B 파라미터 |
| **강점 ** | - GLM-4-9B-0414: 크기 대비 높은 성능, 수학 및 추론에 탁월 - GLM-Z1-9B-0414: 수학 및 일반 작업에서 강력한 성능 |
| **작업 방향 ** | - GLM-4-9B-0414: 채팅 중심 - GLM-Z1-9B-0414: 추론 중심 |
| 모달리티 | HTML/SVG 시각화 지원이 포함된 텍스트-텍스트 |
| 컨텍스트 창 | 32K 토큰 |
| 훈련 및 정렬 | GLM-4-32B에서 증류됨. 기본 모델은 15조 토큰의 고품질 데이터(특히 합성 추론 데이터)로 사전 훈련되었으며, 대화 작업을 위해 인간 선호도 조정을 통해 정렬됨 |
bge-m3
BGE-M3 는 베이징 인공지능 연구원(BAAI) 이 개발한 최첨단 텍스트 임베딩 모델입니다. ** 기능성 **, ** 언어 지원 **, ** 입력 세분성 **이라는 세 가지 핵심 차원에서 뛰어난 성능을 제공하도록 설계되었습니다. BGE-M3는 MKQA 및 MLDR 을 포함한 여러 벤치마크에서 **최첨단 결과 ** 를 달성하며, 단일 언어 ** 및 ** 교차 언어 검색 시나리오 모두에서 경쟁 모델을 지속적으로 능가합니다.
- 다기능성: BGE-M3는 통합 아키텍처 내에서 세 가지 검색 전략을 원활하게 통합합니다.
- 밀집 검색(Dense Retrieval) – 입력당 단일 벡터 표현을 생성하여 일반적인 의미 매칭에 적합합니다.
- 희소 검색(Sparse Retrieval) – 전통적인 어휘 매칭과 유사하게 토큰 수준의 중요성을 강조합니다.
- 다중 벡터 검색(Multi-Vector Retrieval) – 입력당 여러 벡터를 생성하여 세밀한 의미를 포착하고 검색 정밀도를 높입니다.
- **다국어 지원 **: 100개 이상의 언어 를 지원하여 다국어 및 교차 언어 검색 기능을 모두 제공합니다.
- **다중 세분성 **: 짧은 구문부터 긴 문서까지 다양한 입력 길이를 처리할 수 있도록 설계되었으며, 입력당 최대 8192 토큰 을 지원합니다.
Novita AI에서 무료 모델에 액세스하는 방법
1단계: 로그인 및 모델 라이브러리 접속
계정에 로그인하고 모델 라이브러리 버튼을 클릭합니다.
2단계: 모델 선택
사용 가능한 옵션을 살펴보고 필요에 맞는 모델을 선택합니다.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하기 위해 무료 체험을 시작합니다.
4단계: API 키 받기
API 인증을 위해 새 API 키가 제공됩니다. 설정 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치합니다.
설치 후, 개발 환경에 필요한 라이브러리를 가져옵니다. API 키로 클라이언트를 초기화하여 Novita AI LLM과 상호작용을 시작합니다. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
from openai import OpenAI
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "model name"
stream = True # 또는 False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
지능형 챗봇, 의미 검색 엔진, 다국어 추천 시스템을 구축하든, Novita AI 모델의 무료 액세스 는 빠르게 시작하는 데 필요한 모든 것을 제공합니다. 세계적 수준의 성능과 쉬운 API 통합으로, 이러한 모델은 확장 가능한 AI를 그 어느 때보다 쉽게 접근할 수 있게 만듭니다.
Novita AI 는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
