Демо Llama 3.1: экспертные советы для успеха

Ключевые моменты

• Модели Llama 3.1: Шесть новых open-source LLM моделей с параметрами 8B, 70B и 405B, включая как базовые, так и настроенные (instruct-tuned) версии.
• Расширенные возможности: Внедрение Llama Guard 3 и Prompt Guard для повышения безопасности, поддержка контекста длиной 128K токенов.
• Улучшения производительности: Значительные улучшения в таких задачах, как генерация синтетических данных, многоязычный перевод и математические рассуждения.
• Предполагаемые сценарии использования: Обзор коммерческих и исследовательских приложений, чат-функции ассистента, задачи генерации естественного языка и использование выходных данных модели для расширения функциональности.
• Доступ к демо Llama 3.1: Подробные руководства по использованию демо Llama 3.1 на платформах Hugging Face и Novita AI, включая инструкции по настройке и оценке моделей.
• Интеграция с Novita AI: Шаги для интеграции Llama 3.1 через LLM API Novita AI, обеспечивающие бесшовное включение продвинутой языковой обработки в ваши приложения.

Введение

Llama 3.1 представляет собой значительный шаг вперёд в технологии больших языковых моделей, предлагая разнообразный набор моделей для различных приложений. Этот обзор выделяет шесть новых open-source моделей, расширенные функции безопасности и многоязычную поддержку. Мы рассмотрим возможности и предполагаемое использование каждой модели, а также показатели производительности. Кроме того, будут даны практические рекомендации по использованию демо-версии Llama 3.1, которые помогут разработчикам, исследователям и энтузиастам эффективно использовать её функциональность.

Понимание Llama 3.1: всесторонний обзор

Релиз Llama 3.1 включает шесть новых open-source LLM моделей, построенных на архитектуре Llama 3, доступных для загрузки в трёх размерах: 8B, 70B и 405B параметров из репозитория. Каждая модель включает как базовую (pre-trained), так и настроенную (instruct-tuned) версии, а также возможности Llama Guard 3 и Prompt Guard для повышения безопасности. Они поддерживают длину контекста 128K токенов и работают на восьми языках: английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском. Набор данных Llama 3.1 также использует Grouped-Query Attention (GQA) для эффективной обработки более длинных контекстов.

Три модели можно охарактеризовать следующим образом:

• Llama 3.1 405B: хорошо подходит для таких задач, как генерация синтетических данных, общие знания, создание длинных текстов, многоязычный перевод, а также демонстрирует улучшения в математических способностях.
• Llama 3.1 70B: идеальна для создания контента, разговорного ИИ и исследований и разработок; отлично справляется с суммаризацией текста, генерацией кода и следованием инструкциям.
• Llama 3.1 8B: наилучший выбор для сред с ограниченными вычислительными ресурсами; идеально подходит для локального развёртывания и превосходна в суммаризации текста, классификации и языковом переводе.

Вы также можете узнать больше о Llama 3.1, посмотрев это видео.

https://www.youtube.com/embed/JzSqxK3hjPQ

Llama 3 vs Llama 3.1

Что нового в Llama 3.1 по сравнению с Llama 3? Настроенные модели (instruct models) были доработаны для вызова инструментов (tool calling), что делает их подходящими для агентских сценариев использования (agentic use cases). Есть два встроенных инструмента — поиск и математические рассуждения с Wolfram Alpha — которые можно дополнительно расширить с помощью пользовательских JSON-функций.

Если вы хотите узнать больше о сравнении Llama 3 и Llama 3.1, нажмите здесь, чтобы просмотреть подробный блог, где представлен более глубокий анализ сравнения.

Каковы результаты оценки производительности Llama 3.1?

В этом разделе мы обсудим результаты отчёта Meta по модели Llama 3.1 на стандартных автоматизированных тестах. Для всех оценок Meta использовала свою внутреннюю библиотеку оценки.

Базовые предварительно обученные модели

Настроенные модели (Instruction tuned models)

Предполагаемое использование Llama 3.1

Llama 3.1 — это передовая языковая модель, предназначенная для широкого круга коммерческих и исследовательских задач. Её предполагаемые области применения включают:

• Коммерческие и исследовательские приложения: Llama 3.1 разработана для использования в различных коммерческих и исследовательских контекстах с поддержкой нескольких языков.
• Чат в стиле ассистента: Текстовые модели, настроенные на инструкции (instruction-tuned text-only models), оптимизированы для создания увлекательного и эффективного чата в стиле ассистента.
• Задачи генерации естественного языка: Предварительно обученные модели могут быть легко адаптированы для широкого спектра задач генерации естественного языка, что делает их универсальными инструментами для разработчиков.
• Использование выходных данных модели: Коллекция моделей Llama 3.1 позволяет пользователям использовать выходные данные своих моделей для улучшения других моделей, включая приложения для генерации синтетических данных и дистилляции моделей.
• Сообщественная лицензия: Сообщественная лицензия Llama 3.1 (Llama 3.1 Community License) облегчает реализацию этих разнообразных сценариев использования, способствуя инновациям и сотрудничеству.

Два способа использования демо Llama 3.1, которые вы ещё не пробовали

Готовы попробовать Llama 3.1? Демо-версия Llama 3.1 — отличный способ изучить эту продвинутую LLM. Сначала убедитесь, что всё настроили. После завершения настройки вы можете загрузить модель. Все функции доступны по умолчанию, хотите ли вы создать простой текст, перевести или выполнить более сложные задачи. Демо-версия позволяет вам исследовать возможности Llama 3.1.

Как использовать демо Llama 3.1 на Hugging Face?

Для Llama 3.1 требуется небольшое обновление модели для эффективного управления масштабированием RoPE (RoPE scaling). С Transformers версии 4.43.2 вы можете получить доступ к новым моделям Llama 3.1 и воспользоваться всеми инструментами, доступными в экосистеме Hugging Face. Убедитесь, что используете последнюю версию Transformers:

pip install "transformers>=4.43.2" - upgrade

Вот как использовать модель meta-llama/Meta-Llama-3.1-8B-Instruct. Для неё требуется около 16 ГБ VRAM, что делает её подходящей для многих потребительских GPU. Тот же фрагмент кода применим для meta-llama/Meta-Llama-3.1-70B-Instruct (требуется 140 ГБ VRAM) и meta-llama/Meta-Llama-3.1-405B-Instruct (требуется 810 ГБ). Эти характеристики делают модели интересными для производственных сценариев. Вы можете дополнительно уменьшить потребление памяти, загрузив их в 8-битном или 4-битном режиме.

from transformers import pipeline
import torch

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipe = pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
    do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
# Arrrr, me hearty! Yer lookin' fer a bit o' information about meself, eh? Alright then, matey! I be a language-generatin' swashbuckler, a digital buccaneer with a penchant fer spinnin' words into gold doubloons o' knowledge! Me name be... (dramatic pause)...Assistant! Aye, that be me name, and I be here to help ye navigate the seven seas o' questions and find the hidden treasure o' answers! So hoist the sails and set course fer adventure, me hearty! What be yer first question?

Как использовать демо Llama 3.1 на Novita AI?

Интересуетесь, как использовать демо Llama 3.1 на Novita AI? Давайте разберёмся вместе! Следуйте приведённым ниже шагам, чтобы легко протестировать модель Llama 3.1 на Novita AI.

Шаг 1: Доступ к демо Llama 3.1: Перейдите на вкладку “Model API” и выберите “LLM API”, чтобы начать эксперименты с моделями Llama 3.1.

Шаг 2: Изучите различные модели: В нецензурированной модели Novita AI выберите нужную модель Llama 3.1 для использования и оценки. Вот что мы предлагаем для Llama 3.1:

• демо llama 3.1 8b
• демо llama 3.1 70b
• демо llama 3.1 405b

Шаг 3: Введите запрос и получите результаты: Введите свой запрос в соответствующее поле, чтобы модель его обработала.

Как интегрировать Llama 3.1 через LLM API Novita AI?

После опробования демо Llama 3.1 и знакомства с её возможностями вы, возможно, захотите интегрировать эти функции в свои собственные приложения. В этом разделе мы рассмотрим, как выполнять интеграцию инференса с помощью LLM API Novita AI. Это даст вам знания, необходимые для бесшовного включения продвинутой языковой обработки Llama 3.1 в ваши проекты.

Шаг 1: Перейдите на официальный сайт Novita AI и зарегистрируйте аккаунт.

Шаг 2: Перейдите в раздел Управление API-ключами, чтобы сгенерировать свой API-ключ.

Шаг 3: Посетите документацию Llama API, чтобы ознакомиться с доступными API и моделями через Novita AI.

Шаг 4: Выберите модель, подходящую для ваших нужд, затем настройте среду разработки. Настройте такие параметры, как content, role, name и prompt, чтобы адаптировать приложение.

Чтобы просмотреть полный список доступных моделей, вы можете посетить Список моделей LLM Novita AI.

Шаг 6: Проведите несколько тестов, чтобы убедиться, что API работает надёжно и соответствует потребностям вашего приложения.

Заключение

Подводя итог, Llama 3.1 предлагает впечатляющий набор функций и возможностей, которые отличают её от предшественницы. Благодаря продвинутым моделям, повышенной безопасности и подходу, ориентированному на сообщество, она предоставляет пользователям инструменты, необходимые для эффективного использования возможностей ИИ. Будь то для исследований, коммерческих приложений или личных проектов, Llama 3.1 готова удовлетворить разнообразные потребности в обработке языка.

Часто задаваемые вопросы

Лучше ли Llama 3.1, чем Claude?

Llama 3.1 отлично справляется с генерацией кода, но в целом уступает Claude 3.5.

Каковы ограничения демо-версии Llama 3.1?

Демо-версия Llama 3.1 предлагает тестирование функций с ограничениями по сравнению с полной версией, включая ограниченный доступ, сниженную вычислительную мощность и лимиты на запросы.

Сколько памяти требуется для запуска Llama 3.1 405B?

Llama 3.1 405B требует 1944 ГБ памяти GPU в 32-битном режиме. Llama 3.1 405B требует 972 ГБ памяти GPU в 16-битном режиме. Llama 3.1 405B требует 486 ГБ памяти GPU в 8-битном режиме.

Сколько VRAM нужно для запуска Llama 3.1 8B?

Для запуска Llama 3.1 8B обычно требуется не менее 24 ГБ VRAM.

Лучше ли Llama 3.1, чем GPT-4?

Если вы цените точность и эффективность в задачах кодирования, Llama 3 может быть лучшим выбором.

Первоначально опубликовано на Novita AI

Novita AI — это облачная платформа «всё в одном», которая воплощает ваши ИИ-амбиции. Интегрированные API, бессерверные решения, GPU-инстансы — экономически эффективные инструменты, которые вам нужны. Избавьтесь от инфраструктуры, начните бесплатно и превратите вашу ИИ-идею в реальность.