Познакомьтесь с новым поколением разработки ИИ с последней интеграцией моделей Meta Llama 3.2 на платформе Novita AI. Наша платформа теперь предлагает полный набор моделей, разработанных для удовлетворения разнообразных потребностей разработчиков, сохраняя при этом экономическую эффективность и превосходную производительность.
Что нового в Llama 3.2
|||||||
1) Мультимодальный ввод в моделях 11B и 90B
Источник: Meta
- Понимание изображений: распознает объекты, сцены и рисунки, а также обладает возможностями OCR.
- Создание подписей и ответы на вопросы: генерирует подписи и отвечает на вопросы на основе визуального контента.
- Визуальное рассуждение: анализирует уравнения, диаграммы и документы для улучшенного визуального анализа.
2) Меньшие размеры в текстовых моделях 1B и 3B
- Новые варианты использования SLM (малых языковых моделей):
- Суммирование на устройстве
- Написание и перевод
- Ответы на вопросы на нескольких языках
Доступные модели Llama 3.2 на Novita AI
Novita AI с гордостью предлагает три мощных варианта Llama 3.2, каждый из которых оптимизирован для разных случаев использования:
Llama 3.2 1B Instruct: Ваш путь к эффективному ИИ
Преобразите свой рабочий процесс разработки с нашей самой доступной моделью, которая имеет впечатляющее окно контекста в 131 000 токенов. Всего за $0.02/M токенов эта модель обеспечивает исключительную ценность для быстрого прототипирования и легковесных приложений. Попробуйте Llama 3.2 1B Instruct сейчас
Llama 3.2 3B Instruct: Мощность встречает производительность
Откройте расширенные возможности рассуждения с нашей моделью среднего уровня, предлагающей длину контекста в 32 768 токенов. При конкурентоспособной цене $0.03/M входных токенов и $0.05/M выходных токенов она идеально подходит для среднемасштабных приложений, требующих надежной производительности. Попробуйте Llama 3.2 3B Instruct сейчас
Llama 3.2 11B Vision Instruct: Мультимодальное превосходство
Познакомьтесь с современной мультимодальной обработкой с нашей продвинутой моделью зрения. Поддерживая длину контекста в 131 000 токенов по цене $0.06/M токенов, она отлично справляется с сложными визуально-лингвистическими задачами. Попробуйте Llama 3.2 11B Vision Instruct сейчас
Продвижение мультимодального ИИ на основе открытого исходного кода
Применение модели Llama 3.2
Мультимодальные модели Llama 3.2 с 11 и 90 миллиардами параметров обеспечивают мощные мультимодальные возможности для обработки изображений и текста. В сочетании с платформой Novita AI это открывает такие значимые реальные применения, как:
Варианты использования мультимодальных моделей
- Интерактивные агенты: Разрабатывайте агентов ИИ, способных реагировать как на текстовые, так и на графические входные данные, обеспечивая улучшенный пользовательский опыт.
- Создание подписей к изображениям: Создавайте качественные описания изображений для использования в электронной коммерции, создании контента и цифровой доступности.
- Визуальный поиск: Позвольте пользователям выполнять поиск по изображениям, повышая эффективность поиска в электронной коммерции и розничной торговле.
- Интеллектуальный анализ документов: Анализируйте документы, содержащие как текст, так и визуальные элементы, например юридические контракты и финансовые отчеты.
Отраслевые приложения
Конечные точки Llama 3.2 от Novita AI открывают новые возможности в различных отраслях:
- Здравоохранение: Улучшите анализ медицинских изображений для повышения точности диагностики и ухода за пациентами.
- Розничная торговля и электронная коммерция: Преобразите покупательский опыт с помощью поиска по изображениям и тексту, а также персонализированных рекомендаций.
- Финансы и юриспруденция: Оптимизируйте рабочие процессы, анализируя графический и текстовый контент, улучшая проверку контрактов и аудит.
- Образование и обучение: Разрабатывайте интерактивные образовательные инструменты, обрабатывающие как текст, так и визуальные материалы для повышения вовлеченности.
Начало работы: ваш путь с Novita AI
Шаг 1: Выберите свою модель
Выбирайте в зависимости от ваших конкретных требований:
- Для прототипирования: Посетите наш демо-стенд Llama 3.2 1B Instruct для начального тестирования.
- Для производственных приложений: Поэкспериментируйте с моделью Llama 3.2 3B Instruct для расширенных возможностей.
- Для визуально-лингвистических задач: Протестируйте мультимодальные функции в нашем демо-стенде Llama 3.2 11B Vision Instruct.
Или используйте наш Python SDK для быстрой интеграции моделей Llama в ваши приложения:
Шаг 2: Интегрируйте и разверните
Следуйте нашему простому процессу интеграции:
- Зарегистрируйте аккаунт Novita AI.
- Ознакомьтесь с нашей полной документацией LLM API.
- Реализуйте вызовы API на вашем предпочитаемом языке программирования.
- Тщательно протестируйте в вашей среде разработки.
Пример с Python SDK
from openai import OpenAI
client = OpenAI(base_url="https://api.novita.ai/v3/openai",api_key="Your API Key",
)
model = "meta-llama/llama-3.2-11b-vision-instruct"stream = True # or Falsemax_tokens = 65500system_content = "Be a helpful assistant"temperature = 1top_p = 1min_p = 0top_k = 50presence_penalty = 0frequency_penalty = 0repetition_penalty = 1response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(model=model,messages=[
{"role": "system","content": system_content,
},
{"role": "user","content": "Hi there!",
}
],stream=stream,max_tokens=max_tokens,temperature=temperature,top_p=top_p,presence_penalty=presence_penalty,frequency_penalty=frequency_penalty,response_format=response_format,extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Пример с JavaScript SDK
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "Your API Key",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "meta-llama/llama-3.2-3b-instruct",
stream,
response_format: { type: "text" },
max_tokens: 16384,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Пример с Curl
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer Your API Key" \
-d @- << 'EOF'
{
"model": "meta-llama/llama-3.2-3b-instruct",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 16384,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
Шаг 3: Оптимизируйте и масштабируйте
Максимизируйте вашу реализацию:
- Отслеживайте использование токенов и расходы.
- Уточняйте ваши промпты для повышения эффективности.
- Масштабируйте приложение в зависимости от потребностей производительности.
- Используйте возможности расширенной длины контекста.
Готовы преобразить разработку ИИ?
Посетите Novita AI уже сегодня, чтобы начать создавать с помощью Llama 3.2. Наша команда готова поддержать ваш путь от экспериментов до промышленного развертывания, гарантируя, что вы получите максимум от этих мощных моделей.
Оригинал опубликован на Novita AI
Novita AI — это универсальная облачная платформа, которая расширяет ваши ИИ-амбиции. Интегрированные API, бессерверные вычисления, GPU Instance — экономичные инструменты, которые вам нужны. Избавьтесь от инфраструктуры, начните бесплатно и воплотите своё ИИ-видение в реальность.
Рекомендуемое чтение
