Как получить доступ к Llama 3.3 70b локально или через API: полное руководство

Ключевые моменты

1. Высокая производительность: Llama 3.3 70b — мощная модель от Meta. Она отлично справляется с такими задачами, как следование инструкциям и многоязычное рассуждение.

2. Как получить доступ к llama 3.3 70b локально: Для локального запуска Llama 3.3 70b понадобится мощный GPU (минимум 24 ГБ видеопамяти), не менее 32 ГБ ОЗУ и 250 ГБ свободного места на диске, а также специальное программное обеспечение.

3. Как получить доступ к llama 3.3 70b через API: Novita AI предлагает API для Llama 3.3 70b всего за $0.39 за миллион токенов как для ввода, так и для вывода. Просто зарегистрируйтесь для бесплатного пробного периода и используйте API с простыми запросами.

4. Рекомендации по использованию: У разных пользователей разные потребности: исследователи могут предпочесть локальную установку, в то время как бизнес и обычные пользователи могут найти доступ через API более удобным и экономичным.

В быстро развивающейся сфере искусственного интеллекта модель Llama 3.3 70b от Meta выделяется как мощная и универсальная многоязычная языковая модель. Благодаря способности выполнять широкий спектр текстовых задач при умеренных вычислительных затратах, Llama 3.3 70b представляет собой реальный вариант для разработчиков и исследователей. Эта статья представляет собой полное руководство по доступу к Llama 3.3 70b, описывая как локальную установку, так и использование API (например, Novita AI) для удовлетворения различных потребностей пользователей.

Что такое Llama 3.3 70b?

Llama 3.3 70b — это новейшая многоязычная большая языковая модель (LLM) от Meta, предназначенная для различных текстовых задач. Имея 70 миллиардов параметров, она обеспечивает производительность, сравнимую с гораздо более крупной моделью Llama 3.1 405B, при значительно меньших вычислительных требованиях, что делает её более доступной для разработчиков.

Ключевые особенности

• Многоязычная поддержка: Llama 3.3 70b изначально поддерживает восемь языков: английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский. При соблюдении соответствующих мер безопасности модель можно дообучить и для других языков.
• Продвинутая архитектура: Использует оптимизированную архитектуру трансформера с групповым вниманием запросов (GQA) для повышения эффективности и масштабируемости.
• Длинный контекст: Поддерживает длину контекста 128k токенов, что подходит для обработки длинных текстов.
• Экологичное обучение: Meta добилась нулевого уровня выбросов в процессе обучения модели.
• Интеграция с инструментами: Позволяет интегрироваться с внешними инструментами и API для доступа к данным в реальном времени и сторонним приложениям.
• Безопасность и согласованность: Модель дообучена с использованием контролируемого дообучения (SFT) и обучения с подкреплением на основе обратной связи от человека (RLHF) для обеспечения безопасности и соответствия человеческим предпочтениям.

https://www.youtube.com/watch?v=-dnGa6Oms5I

Сравнение с другими моделями Llama

• Llama 3.3 70b vs. Llama 3.1 405B: Llama 3.3 70b демонстрирует производительность, аналогичную Llama 3.1 405B, но с повышенной эффективностью и меньшими вычислительными затратами.
• Llama 3.3 70b vs. Llama 3.2: Llama 3.3 улучшает дообучение, функции безопасности и показатели тестов по сравнению с Llama 3.2.

Сравнение с другими моделями

Хотя Llama 3.3 70b не всегда превосходит такие модели, как GPT-4 или Claude 3.5, она показывает конкурентоспособные результаты, особенно в программировании и многоязычных рассуждениях. Она превосходит как Llama 3.1 405B, так и GPT-4 в задачах следования инструкциям. Кроме того, она более экономична по сравнению с такими моделями, как Amazon Nova Pro, GPT-4 и Claude 3.5, с точки зрения затрат на входные и выходные токены.

Если вы хотите увидеть более подробное сравнение параметров, можете ознакомиться с этой статьёй: Llama 3.3 Benchmark: Key Advantages and Application Insights

Применение

• Многоязычные чат-боты и виртуальные ассистенты.
• Поддержка программирования и разработка ПО.
• Генерация синтетических данных.
• Создание и локализация многоязычного контента.
• Исследования и эксперименты.
• Приложения на основе знаний, такие как ответы на вопросы и суммаризация.

Как получить доступ к Llama 3.3 70b локально

Требования к оборудованию и рекомендации по конфигурации

• GPU: NVIDIA GPU с минимум 24 ГБ видеопамяти (например, A100 или H100). Некоторые источники рекомендуют NVIDIA RTX A6000 с 48 ГБ.
• ОЗУ: Не менее 32 ГБ (рекомендуется 64 ГБ для больших наборов данных).
• Хранилище: Минимум 250 ГБ свободного дискового пространства; сама модель может занимать около 40 ГБ.
• Операционная система: Linux (предпочтительно) или Windows с WSL2; в частности, Ubuntu 22.04.
• Программное обеспечение: Python 3.8 или новее и CUDA Toolkit 11.7 или выше.
• Необходимые библиотеки: Hugging Face Transformers, PyTorch, а также инструменты для квантования и оптимизации, такие как bitsandbytes.

Из приведённых данных вы можете узнать Why LLaMA 3.3 70B VRAM Requirements Are a Challenge for Home Servers？

Пошаговая инструкция по установке

1. Установите Python и создайте виртуальное окружение

2. Установите необходимые библиотеки:

Используйте pip install bitsandbytes для оптимизации GPU.

3. Установите CLI Hugging Face и войдите в систему:

   pip install huggingface-cli
   huggingface-cli login

4. Запросите доступ к Llama-3.3 70b на сайте Hugging Face.

5. Скачайте файлы модели с помощью CLI Hugging Face:

   huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct

6. Загрузите модель локально с помощью библиотеки Hugging Face Transformers:

   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer

   model_id = "meta-llama/Llama-3.3-70B-Instruct"
   model = AutoModelForCausalLM.from_pretrained(
       model_id, device_map="auto", torch_dtype=torch.bfloat16
   )
   tokenizer = AutoTokenizer.from_pretrained(model_id)

7. Выполните инференс с помощью загруженной модели и токенизатора.

Как получить доступ к Llama 3.3 70b через Novita AI

Пошаговое руководство

Novita AI предлагает доступную, надёжную и простую платформу для инференса с масштабируемым Llama 3.3 70b API, позволяя разработчикам создавать AI-приложения. Попробуйте демо-версию Novita AI Llama 3.3 70b API уже сегодня!

Шаг 1: Войдите в систему и откройте библиотеку моделей

Войдите в свою учётную запись и нажмите кнопку Model Library.

Шаг 2: Выберите модель

Просмотрите доступные варианты и выберите модель, подходящую для ваших задач.

Шаг 3: Начните бесплатный пробный период

Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.

Шаг 4: Получите ключ API

Для аутентификации в API мы предоставим вам новый ключ API. Перейдите на страницу «Settings» и скопируйте ключ API, как показано на изображении.

Шаг 5: Установите API

Установите API с помощью менеджера пакетов, специфичного для вашего языка программирования.

После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим ключом API, чтобы начать взаимодействие с Novita AI LLM. Это пример использования API для завершения чата для пользователей Python.

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Получите ключ API Novita AI, обратившись к: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # или False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=&#91;
        {
            "role": "system",
            "content": "Веди себя как полезный ассистент.",
        },
        {
            "role": "user",
            "content": "Привет!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices&#91;0].delta.content or "")
else:
    print(chat_completion_res.choices&#91;0].message.content)

При регистрации Novita AI предоставляет $0.5 кредита для начала работы!

Если бесплатные кредиты закончатся, вы можете оплатить и продолжить использование.

Какие методы подходят вам?

Сравнение локального доступа и доступа через API

Аспект	Локальный доступ	Доступ через API
Масштабируемость	Ограничен; требует ручного обновления.	Масштабируется автоматически и эффективно.
Гибкость	Высокая гибкость; полный контроль над настройками.	Менее гибкий; зависит от конфигураций провайдера.
Удобство использования	Требует технических знаний.	Проще в использовании, не требует сложной настройки.
Доступность	Высокие начальные затраты, низкие текущие. Лучше для долгосрочного использования.	Оплата по мере использования, идеально для небольших или редких проектов.

Рекомендации для разных групп пользователей

• Исследователи: Локальный доступ, как правило, предпочтительнее для гибкости и контроля над экспериментами.

• Разработчики:

  • Доступ через API подходит для создания приложений и быстрого прототипирования.
  • Локальный доступ лучше для дообучения и настраиваемых рабочих процессов.

• Бизнес: Доступ через API выгоден для быстрой интеграции в сервисы без высоких первоначальных затрат. Локальное развертывание может подойти командам с постоянными требованиями и возможностью инвестировать в инфраструктуру.

• Небольшие команды / частные лица: Доступ через API, как правило, более практичен из-за меньших стартовых затрат.

• Пользователи с ограниченными техническими навыками: Доступ через API предпочтительнее, так как он избавляет от необходимости глубоких технических знаний.

В заключение, Llama 3.3 — это мощная, универсальная и доступная модель, которая обеспечивает баланс между производительностью и требованиями к ресурсам. В зависимости от ваших потребностей и доступных ресурсов вы можете выбрать локальный запуск или доступ через API.

Часто задаваемые вопросы

Novita AI — это облачная платформа «всё в одном», которая поддерживает ваши AI-амбиции. Интегрированные API, serverless, GPU Instance — экономичные инструменты, которые вам нужны. Устраните инфраструктурные барьеры, начните с бесплатного тарифа и воплощайте своё AI-видение в реальность.

Рекомендуем к прочтению

• Why LLaMA 3.3 70B VRAM Requirements Are a Challenge for Home Servers？
• Llama 3.3 vs GPT-4o: Choosing the Right Model
• Llama 3.3 70B: Features, Access Guide & Model Comparison