Улучшите свои приложения с помощью Llama 3 API

Ключевые моменты

• Обзор модели Llama 3: Семейство моделей Llama 3 от Meta включает продвинутые большие языковые модели (LLM) размером 8B и 70B, оптимизированные для диалоговых задач и генерации текста.
• Оценка производительности: Llama 3 превосходит открытые модели, такие как Mistral 7B и Gemini 1.5, в ключевых бенчмарках, демонстрируя улучшенные способности к рассуждению и обработке контекста.
• Полезность API: API являются важными соединителями для разработчиков, позволяющими эффективно интегрировать продвинутые LLM в приложения, обеспечивая легкую масштабируемость и настройку ответов.
• Известные поставщики API: Ведущие поставщики, такие как Lepton, Fireworks, Novita AI и Together AI, предлагают надежные и экономичные AI-решения для различных приложений.
• Простой процесс: Novita AI предоставляет разработчикам инструменты и ресурсы для развертывания Llama 3 API, включая тестовую среду (playground) и упрощенную систему управления ключами.

Введение

Большие языковые модели (LLM), такие как Meta Llama 3, произвели революцию в обработке естественного языка, обеспечив расширенные возможности взаимодействия и более глубокое понимание программного обеспечения. Llama 3 превосходно справляется с диалоговыми задачами и сложными лингвистическими вызовами. В этой статье мы рассмотрим особенности Llama 3, интеграцию через API и роль таких поставщиков API, как Novita AI, в беспрепятственном развертывании этих моделей.

Что такое модель Llama 3?

Meta разработала семейство больших языковых моделей (LLM) Llama 3, включающее предварительно обученные и настроенные под инструкции генеративные текстовые модели размером 8B и 70B. Эти модели, настроенные под инструкции, оптимизированы для диалоговых задач и превосходят многие открытые чат-модели по ключевым отраслевым бенчмаркам. Кроме того, в процессе разработки Meta уделяла первостепенное внимание как полезности, так и безопасности.

Оценка Llama 3

Ниже приведен список моделей и их оценки на Open LLM Leaderboard. Этот список не является исчерпывающим, поэтому мы рекомендуем вам изучить полную таблицу лидеров. Имейте в виду, что LLM Leaderboard особенно полезен для оценки предварительно обученных моделей, в то время как другие бенчмарки ориентированы на диалоговые модели.

Как использовать Llama 3?

Этот репозиторий включает две версии Meta-Llama-3–8B: одну для использования с transformers и другую, совместимую с оригинальным кодом Llama 3.

Использование с transformers

Обратитесь к фрагменту ниже для использования с Transformers:

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B"

pipeline = transformers.pipeline(
pipeline("Hey how are you doing today?")

Использование с llama 3

Следуйте инструкциям в репозитории.

Чтобы загрузить оригинальные контрольные точки, используйте пример команды ниже с помощью huggingface-cli:

huggingface-cli download meta-llama/Meta-Llama-3-8B --include “original/*” --local-dir Meta-Llama-3-8B

Для поддержки Hugging Face разработчики Meta-Llama рекомендуют использовать Transformers или TGI, но аналогичная команда также будет работать.

Meta Llama 3 в два раза больше, чем Llama 2

Llama 3 обладает улучшенными способностями к рассуждению и поддерживает более широкий контекст (до 8 000 токенов), что повышает его эффективность для сложных задач обработки естественного языка в разработке программного обеспечения. Meta Llama 3 была обучена на обширном наборе данных, содержащем более 15 триллионов токенов.

Против Mistral 7B и Gemma 7B

Утверждается, что модель Meta Llama 3 8B превосходит другие открытые модели, такие как Mistral 7B и Gemma 7B, по различным бенчмаркам, включая MMLU, ARC и DROP.

Против Gemini 1.5

Meta Llama 3 70B показала превосходную производительность по сравнению с Gemini 1.5 Pro в нескольких бенчмарках, включая MMLU, HumanEval и GSM-8K.

Против GPT-3.5

Meta Llama 3 70B продемонстрировала впечатляющие результаты против GPT-3.5 на специальном наборе тестов, разработанном для оценки навыков в кодировании, написании текстов, рассуждении и суммаризации.

Что такое API?

API (интерфейсы программирования приложений) — это цифровые соединители, которые позволяют различным программным приложениям общаться и обмениваться данными. Они выступают в роли посредников, обеспечивая беспрепятственное взаимодействие между различными программами и системами.

API повсеместны в нашей повседневной жизни — будь то использование приложений для вызова такси, мобильные платежи или удаленное управление устройствами умного дома. Когда вы взаимодействуете с этими приложениями, они используют API для обмена информацией с серверами, обработки запросов и представления результатов в удобном для пользователя формате на вашем устройстве.

Зачем нам нужен LLM API?

API предоставляют разработчикам стандартизированный интерфейс для интеграции больших языковых моделей в свои приложения. Эта стандартизация не только упрощает процесс разработки, но и обеспечивает доступ к последним улучшениям модели. Она позволяет эффективно масштабировать задачи и выбирать подходящие LLM для различных приложений. Кроме того, гибкость API позволяет настраивать ответы LLM в соответствии с конкретными требованиями, повышая их адаптируемость и релевантность в различных сценариях.

Ведущие поставщики LLM API для разработчиков в 2024 году

Поставщики API — это экономичные облачные платформы, которые облегчают эффективное развертывание моделей машинного обучения. Они предоставляют доступ к передовым AI через удобные API, обеспечивая надежную масштабируемость и конкурентоспособные цены, делая AI доступным для бизнеса любого размера. В этом разделе мы рассмотрим некоторых ведущих поставщиков API в отрасли.

В качестве примера рассмотрим модель Llama 3 70B. Ниже приведены некоторые поставщики API с их показателями производительности и экономической эффективностью. Мы предоставим подробное описание каждого варианта, чтобы помочь разработчикам сделать осознанный выбор.

Lepton

Lepton — это поставщик API, который также поддерживает максимальный вывод в 8 192 токена. Стоимость как ввода, так и вывода составляет $0.80, задержка — 0.15 секунд, пропускная способность — 26.02 т/с.

• Преимущества: Lepton отличается очень низкой задержкой, что делает его идеальным для приложений, где время ответа критически важно.
• Недостатки: Однако его пропускная способность относительно ниже, что может не подойти для приложений, требующих обработки больших объемов данных.

Fireworks

Fireworks — еще один поставщик API, способный обрабатывать запросы с максимальным выводом 8 192 токена. Стоимость как ввода, так и вывода составляет $0.90, задержка — 0.24 секунды, пропускная способность — 142.6 т/с.

• Преимущества: Fireworks обеспечивает исключительно высокую пропускную способность, что идеально подходит для пользователей, которым необходимо обрабатывать большие объемы данных без особого внимания к стоимости.
• Недостатки: Задержка относительно выше, а стоимость самая высокая среди четырех поставщиков API, что может не подойти пользователям с ограниченным бюджетом.

Novita AI

Novita AI — это облачная платформа, поддерживающая AI-амбиции с помощью интегрированных API, бессерверных вычислений и GPU-инстансов. Она предоставляет доступные инструменты для успеха, помогая пользователям запускать проекты без затрат и эффективно воплощать их AI-мечты в реальность.

Novita AI — это поставщик API, предлагающий экономичное решение для обработки больших объемов запросов, что подходит пользователям с ограниченным бюджетом, которым необходимо обрабатывать значительные объемы данных.

• Преимущества: Novita AI имеет более низкую стоимость при управлении большим количеством запросов, что идеально для пользователей с ограниченным бюджетом, которым требуется масштабная обработка данных.
• Недостатки: По сравнению с другими поставщиками, задержка Novita AI составляет 1.10 секунды, что может создать проблемы для приложений, требующих быстрого времени отклика.

Together AI

Together AI — еще один поставщик API, способный обрабатывать запросы с максимальным выводом 8 192 токена. Стоимость как ввода, так и вывода составляет $0.792, задержка — 0.36 секунд, пропускная способность — 47.16 т/с.

• Преимущества: Together предлагает более низкую задержку и более высокую пропускную способность, что делает его хорошо подходящим для приложений, требующих быстрой обработки запросов.
• Недостатки: Его стоимость немного выше, чем у Novita AI, что может быть важным фактором для пользователей с очень ограниченным бюджетом.

При выборе поставщика API учитывайте стоимость, задержку и пропускную способность. Novita AI идеально подходит для проектов с ограниченным бюджетом и большими потребностями в данных. Lepton отлично подходит для приложений с низкой задержкой, а Fireworks справляется с большими объемами данных, но с более высокой стоимостью и задержкой. В целом, Novita AI выделяется доступным масштабным управлением данными.

Развивая тему LLM API, отметим, что Llama 3 API предоставляет разработчикам доступ к продвинутым возможностям обработки языка через стандартизированный API. Это обеспечивает плавную интеграцию лингвистических функций в различные приложения, улучшая их интерактивные и аналитические возможности. Узнайте, как использовать Llama 3 API на платформе Novita AI LLM API.

Запуск Meta Llama 3 с помощью Novita AI LLM API

Следуйте этим структурированным шагам, чтобы создать мощные приложения для обработки языка с использованием Llama 3 API на Novita AI. Это подробное руководство обеспечит гладкий и эффективный процесс, отвечающий ожиданиям современных разработчиков, ищущих продвинутую AI-платформу.

Шаг 1: Перейдите на Novita AI и войдите в систему.

Вы можете войти, используя свою учетную запись Google или GitHub, что создаст новую учетную запись при первом входе.

Кроме того, вы можете зарегистрироваться, используя адрес электронной почты.

Шаг 2: Управление API-ключом.

Novita AI использует Bearer-аутентификацию для проверки доступа к API, требуя API-ключ в заголовке запроса, например “Authorization: Bearer {API Key}”.

Чтобы управлять ключами, перейдите в “Key Management” в настройках.

При первом входе автоматически создается ключ по умолчанию. Вы можете сгенерировать дополнительные ключи, нажав “+ Add New Key”.

Шаг 3: Выберите вашу модель

Novita AI предлагает множество моделей, включая несколько версий Llama. Выберите модель, которая лучше всего соответствует потребностям вашего приложения, будь то для завершения чата, генерации текста или других задач.

Вот что мы предлагаем для Llama 3:

• meta-llama/llama-3.1–8b-instruct
• meta-llama/llama-3.1–70b-instruct
• meta-llama/llama-3.1–405b-instruct
• meta-llama/llama-3–8b-instruct
• meta-llama/llama-3–70b-instruct

Чтобы посмотреть полный список доступных моделей, вы можете посетить Список моделей Novita AI LLM.

Шаг 4: Изучите Справочник по LLM API, чтобы узнать о доступных API и моделях, предлагаемых Novita AI.

Шаг 5: Выберите модель, которая лучше всего соответствует вашим потребностям, затем настройте среду разработки. Настройте такие параметры, как контент, роль, имя и промпт, чтобы настроить ваше приложение.

Шаг 6: Проведите несколько тестов, чтобы убедиться, что API работает стабильно и соответствует требованиям вашего приложения.

Перед развертыванием Llama 3 API на Novita AI LLM API вы можете сначала опробовать его в LLM Playground. Мы предоставляем разработчикам бесплатные кредиты для экспериментов с платформой. Если у вас есть предложения, делитесь ими на Discord. Теперь позвольте мне провести вас по шагам, чтобы начать:

Шаг 1: Доступ к Playground: перейдите на вкладку Products, выберите Model API и начните изучение LLM API.

Шаг 2: Выберите модель, выбрав модель Llama, которая лучше всего подходит для ваших нужд оценки.

Шаг 3: Введите свой промпт, введя его в поле ввода, чтобы сгенерировать ответ от выбранной модели.

Пример с Python Client

pip install 'openai>=1.0.0'

Chat Completions API:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Get the Novita AI API Key by referring to: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)

model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Completions API:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Get the Novita AI API Key by referring to: https://docs/get-started/quickstart.html#_2-manage-api-key
    api_key="<YOUR Novita AI API Key>",
)

model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="A chat between a curious user and an artificial intelligence assistant.\
You are a cooking assistant.\
Be edgy in your cooking ideas.\
USER: How do I make pasta?\
ASSISTANT: First, boil water. Then, add pasta to the boiling water. Cook for 8-10 minutes or until al dente. Drain and serve!\
USER: How do I make it better?\
ASSISTANT:",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

Цены на Llama 3 API

С Novita AI вы можете легко получить доступ и использовать ведущие модели с открытым исходным кодом, включая большие языковые модели, а также модели изображений, аудио и видео. Платите только за то, что используете, без фиксированных затрат или скрытых платежей. Выберите тарифный план Novita AI, который лучше всего соответствует вашим потребностям.

Заключение

Модель Meta Llama 3 представляет собой значительный прогресс в области больших языковых моделей, улучшая диалоговые и рассуждающие способности. Интегрируемая через API, эта модель улучшает пользовательский опыт в различных приложениях. Novita AI выделяется как ключевой поставщик API, предлагая Llama 3 API вместе с необходимыми инструментами для эффективной разработки AI. Такие платформы, как Novita AI, играют важную роль в удовлетворении растущего спроса на передовые AI-решения, предоставляя разработчикам возможность внедрять инновации в этой области.

Часто задаваемые вопросы

Как Llama 3 улучшает производительность приложений?

Llama 3 повышает производительность приложений за счет эффективных алгоритмов и использования ресурсов, обеспечивая более быстрые вычисления для улучшения пользовательского опыта и операционной эффективности.

Может ли Llama 3 API интегрироваться с любым приложением?

Llama 3 API — это специализированная версия LLM API, предлагающая продвинутую обработку языка для разработчиков. Для оптимальной интеграции может потребоваться настройка.

Как получить доступ к Llama 3 бесплатно?

Если вы предпочитаете локальную настройку, такие инструменты, как Ollama, облегчают развертывание моделей Llama 3 на вашем локальном компьютере, обеспечивая бесплатное использование для личных проектов.

В чем разница между Llama 3.1 и 3?

Llama 3.1 превосходит Llama 3 в математических и рассуждающих способностях. Например, в техническом блоге Meta Llama-3.1 (8B) набирает 73.0 балла по MATH (0-shot, CoT), превосходя результат Llama-3 (68.4 по MATH с 5-shot).

Оригинальная публикация на Novita AI

Novita AI — это универсальная облачная платформа, которая поддерживает ваши AI-амбиции. Интегрированные API, бессерверные вычисления, GPU-инстансы — необходимые экономичные инструменты. Устраните инфраструктуру, начните бесплатно и воплотите ваше AI-видение в реальность.

Рекомендуемое чтение

1.Introducing Code Llama: A State-of-the-art large language model for code generation.

2.Introducing Llama3 405B: Openly Available LLM Releases

3.Enhance Your Projects with Llama 3.1 API Integration