Novita AI가 Meta의 Llama 3.2 모델을 최신으로 통합하여 차세대 AI 개발을 경험하세요. 이제 플랫폼에서 다양한 개발 요구를 충족하고 비용 효율성과 뛰어난 성능을 유지하는 포괄적인 모델 제품군을 제공합니다.
Llama 3.2의 새로운 기능
|||||||
1) 11B 및 90B 모델의 멀티모달 입력
출처: Meta
- 이미지 이해: 객체, 장면 및 그림 인식과 OCR 기능 제공.
- 캡셔닝 및 QA: 시각적 콘텐츠를 기반으로 캡션 생성 및 질문에 답변.
- 시각적 추론: 개선된 시각적 추론을 위해 방정식, 차트 및 문서 분석.
2) 1B 및 3B 텍스트 전용 모델의 소형 크기
- 새로운 SLM(소형 언어 모델) 사용 사례:
- 기기 내 요약
- 작성 및 번역
- 다국어 QA
Novita AI에서 사용 가능한 Llama 3.2 모델
Novita AI는 각각 다른 사용 사례에 최적화된 세 가지 강력한 Llama 3.2 변형을 제공합니다.
Llama 3.2 1B Instruct: 효율적인 AI의 관문
인상적인 131,000 토큰 컨텍스트 창을 갖춘 가장 접근하기 쉬운 모델로 개발 워크플로를 혁신하세요. $0.02/M 토큰의 가격으로 신속한 프로토타이핑과 경량 애플리케이션에 뛰어난 가치를 제공합니다. 지금 Llama 3.2 1B Instruct 사용해보기
Llama 3.2 3B Instruct: 성능과 만나는 힘
32,768 토큰 컨텍스트 길이를 제공하는 중간 계층 모델로 향상된 추론 기능을 활용하세요. $0.03/M 입력 토큰 및 $0.05/M 출력 토큰의 경쟁력 있는 가격으로 강력한 성능이 필요한 중간 규모 애플리케이션에 완벽합니다. 지금 Llama 3.2 3B Instruct 사용해보기
Llama 3.2 11B Vision Instruct: 멀티모달 우수성
고급 비전 모델로 최첨단 멀티모달 처리를 경험하세요. 131,000 토큰 컨텍스트 길이를 지원하며 $0.06/M 토큰의 가격으로 복잡한 시각-언어 작업에 탁월합니다. 지금 Llama 3.2 11B Vision Instruct 사용해보기
오픈 소스 기반으로 멀티모달 AI 발전
Llama 3.2 모델의 응용
110억 및 900억 개의 매개변수를 갖춘 Llama 3.2 비전 모델은 이미지와 텍스트를 처리하기 위한 강력한 멀티모달 기능을 제공합니다. Novita AI 플랫폼과 통합하면 다음과 같은 중요한 실제 애플리케이션을 활용할 수 있습니다.
멀티모달 사용 사례
- 대화형 에이전트: 텍스트와 이미지 입력에 모두 응답할 수 있는 AI 에이전트를 개발하여 향상된 사용자 경험을 제공합니다.
- 이미지 캡셔닝: 전자상거래, 콘텐츠 제작 및 디지털 접근성을 위한 고품질 이미지 설명을 생성합니다.
- 시각적 검색: 사용자가 이미지를 사용하여 검색할 수 있도록 하여 전자상거래 및 소매 환경에서 검색 효율성을 향상시킵니다.
- 문서 인텔리전스: 법률 계약서 및 재무 보고서와 같이 텍스트와 시각 자료가 모두 포함된 문서를 분석합니다.
업계별 애플리케이션
Novita AI의 Llama 3.2 엔드포인트는 다양한 산업에서 새로운 가능성을 열어줍니다.
- 헬스케어: 의료 영상 분석을 개선하여 진단 정확도와 환자 치료 향상.
- 소매 및 전자상거래: 이미지 및 텍스트 기반 검색과 개인화된 추천으로 쇼핑 경험 혁신.
- 금융 및 법률: 그래픽 및 텍스트 콘텐츠를 분석하여 계약 검토 및 감사 최적화로 워크플로 간소화.
- 교육 및 훈련: 텍스트와 시각 자료를 모두 처리하여 참여도를 높이는 대화형 교육 도구 개발.
시작하기: Novita AI와의 여정
1단계: 모델 선택
특정 요구 사항에 따라 선택하세요.
- 프로토타이핑의 경우: 초기 테스트를 위해 Llama 3.2 1B Instruct 데모를 방문하세요.
- 프로덕션 애플리케이션의 경우: 향상된 기능을 위해 Llama 3.2 3B Instruct 모델을 실험해 보세요.
- 시각-언어 작업의 경우: Llama 3.2 11B Vision Instruct 데모에서 멀티모달 기능을 테스트하세요.
또는 Python SDK를 사용하여 Llama 모델을 애플리케이션에 빠르게 통합할 수 있습니다.
2단계: 통합 및 배포
간단한 통합 프로세스를 따르세요.
- Novita AI 계정에 가입하세요.
- 포괄적인 LLM API 문서에 액세스하세요.
- 선호하는 프로그래밍 언어로 API 호출을 구현하세요.
- 개발 환경에서 철저히 테스트하세요.
Python 클라이언트 예제
from openai import OpenAI
client = OpenAI(base_url="https://api.novita.ai/v3/openai",api_key="Your API Key",
)
model = "meta-llama/llama-3.2-11b-vision-instruct"stream = True # or Falsemax_tokens = 65500system_content = "Be a helpful assistant"temperature = 1top_p = 1min_p = 0top_k = 50presence_penalty = 0frequency_penalty = 0repetition_penalty = 1response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(model=model,messages=[
{"role": "system","content": system_content,
},
{"role": "user","content": "Hi there!",
}
],stream=stream,max_tokens=max_tokens,temperature=temperature,top_p=top_p,presence_penalty=presence_penalty,frequency_penalty=frequency_penalty,response_format=response_format,extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
JavaScript 클라이언트 예제
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "Your API Key",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "meta-llama/llama-3.2-3b-instruct",
stream,
response_format: { type: "text" },
max_tokens: 16384,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Curl 클라이언트 예제
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer Your API Key" \
-d @- << 'EOF'
{
"model": "meta-llama/llama-3.2-3b-instruct",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 16384,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
3단계: 최적화 및 확장
구현을 극대화하세요.
- 토큰 사용량 및 비용을 모니터링하세요.
- 효율성을 높이기 위해 프롬프트를 개선하세요.
- 성능 요구 사항에 따라 애플리케이션을 확장하세요.
- 광범위한 컨텍스트 길이 기능을 활용하세요.
AI 개발을 혁신할 준비가 되셨나요?
지금 Novita AI를 방문하여 Llama 3.2로 구축을 시작하세요. 당사 팀은 실험부터 프로덕션 배포까지 여정을 지원하여 이러한 강력한 모델을 최대한 활용할 수 있도록 준비되어 있습니다.
원본 게시물: Novita AI
Novita AI 는 AI 비전을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 비용 효율적인 도구를 제공합니다. 인프라를 제거하고, 무료로 시작하여 AI 비전을 현실로 만드세요.
추천 읽을거리
