Руководство по доступу к Llama 3.2 1B: запуск локально, на устройстве или через API

Пригласите своих друзей Novita AI и вы оба заработаете по 10 долларов в LLM API-кредиты — до 500 долларов США в общей сумме вознаграждений.

Чтобы поддержать сообщество разработчиков, Лама 3.2 1Б, Qwen2.5-7B, Qwen 3 0.6B, Qwen 3 1.7B, Qwen 3 4B в настоящее время доступны бесплатно на Novita AI.

Llama 3.2 1B — это компактная и эффективная языковая модель, созданная для реального развёртывания, даже на мобильных и периферийных устройствах. Благодаря лёгкой архитектуре и поддержке квантования она без проблем работает на устройствах Android и iOS с ограниченным объёмом памяти, что делает её идеальным решением для приватных сценариев офлайн-вывода.

В этом руководстве описаны три практических способа доступа к Llama 3.2 1B в зависимости от ваших потребностей:

1. Локальное развертывание для полного контроля над вашим собственным оборудованием,
2. Выполнение на устройстве для мобильных и встроенных вариантов использования,
3. Доступ к API с помощью Novita AI для быстрой масштабируемой интеграции.

Что такое Llama 3.2 1B?

Llama 3.2 1B — это компактная, оптимизированная языковая модель, оптимизированная для эффективного развертывания на периферийных устройствах с поддержкой многоязыкового ввода и генерации кода.

Llama 3.2 1B Benchmark

Llama 3.2 1B демонстрирует высокие общие возможности для своего размера, особенно в задачах рассуждения и понимания языка. Хотя она может не превосходить более крупные или специализированные модели по всем показателям, она обеспечивает хороший баланс между производительностью и эффективностью.

Как получить локальный доступ к Llama 3.2 1B?

Требования к оборудованию

Сложность задачи	Модель	квантование	Использование видеопамяти	совместимый GPU
вывод	Лама 3.2 1Б	FP16	3.14 ГБ	RTX 3090 (12 ГБ), RTX 4060 (8 ГБ)
Тонкая настройка	Лама 3.2 1Б	FP16	14.11 ГБ	RTX 4090 (24 ГБ)

Пошаговое Руководство по Установке

# Шаг 1: Установка Python и создание виртуального окружения # Убедитесь, что установлен Python (>=3.8). Затем создайте и активируйте виртуальное окружение. python3 -m venv llama_env source llama_env/bin/activate # В Windows используйте `llama_env\Scripts\activate` # Шаг 2: Установка необходимых библиотек pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # Для GPU оптимизация pip install bitsandbytes # Эффективно GPU Использование памяти # Шаг 3: Установите Hugging Face CLI и войдите в систему pip install huggingface-cli huggingface-cli login # Следуйте инструкциям для аутентификации # Шаг 4: Запросите доступ к Llama-3.3 70B # Посетите страницу модели Hugging Face для Llama-3.3 70B и запросите доступ. # URL: https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct # Шаг 5: Загрузите файлы модели huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct # Шаг 6: Загрузите модель локально import torch from transformers import AutoModelForCausalLM, AutoTokenizer # Идентификатор модели и путь к локальному каталогу model_id = "meta-llama/Llama-3.2-1B-Instruct" local_model_dir = "./Llama-3.2-1B-Instruct" # Загрузите модель с GPU модель оптимизации = AutoModelForCausalLM.from_pretrained( local_model_dir, device_map="auto", # Автоматически сопоставлять слои модели с GPU(s) torch_dtype=torch.bfloat16 # Используйте bfloat16 для эффективного использования памяти ) # Загрузите токенизатор tokenizer = AutoTokenizer.from_pretrained(local_model_dir) # Шаг 7: Запустите вывод # Определите входной текст input_text = "Объясните теорию относительности простыми терминами." # Токенизируйте входные данные inputs = tokenizer(input_text, return_tensors="pt").to("cuda") # Отправьте входные данные в GPU

# Сгенерируйте ответ с помощью torch.no_grad(): outputs = model.generate( **inputs, max_length=100, # Установите максимальную длину ответа temperature=0.7, # Отрегулируйте креативность (ниже = менее креативно, выше = более креативно) top_k=50, # Выборка top-k для разнообразия ) # Расшифруйте выходные токены response = tokenizer.decode(outputs[0], skip_special_tokens=True) print("Response:", response)

Как получить доступ к Llama 3.2 1B на устройстве?

На устройствах Android

Вы можете запустить Llama 3.2 1B на Android, используя такие инструменты, как:

• Termux + Ollama: Настройте среду Linux с Termux, установите Ollama и запустите модель локально. Технически совместимы устройства с объёмом оперативной памяти не менее 2 ГБ, хотя для более плавной работы рекомендуется 4 ГБ и более.
• Фреймворк Torchchat: Используйте Torchchat для загрузки и запуска модели со встроенным интерфейсом чата, что позволяет генерировать базовый текст непосредственно на вашем телефоне Android.

На устройствах iOS

На iOS такие приложения, как Частные LLM позволяют запускать Llama 3.2 1B полностью на устройстве:

• Работает на iPhone и iPad с 6 ГБ оперативной памяти или более (например, iPhone 12 Pro или новее).
• Обеспечивает конфиденциальный автономный вывод без отправки данных в облако.

Llama 3.2 1B можно квантовать (например, с помощью QLoRA или других форматов), чтобы уменьшить потребление памяти и эффективно работать даже на процессорах. После оптимизации он может генерировать более 40 токенов в секунду на некоторых устройствах.

Как получить доступ к Llama 3.2 1B через API?

Novita AI предлагает доступную, надежную и простую платформу вывода с масштабируемостью Лама 3.2 1B API, предоставляя разработчикам возможность создавать приложения на базе ИИ. Попробуйте Лама 3.2 1Б Демо Cегодня!

Вариант 1: Прямая интеграция API

Ключевые особенности:

• Единая конечная точка:/v3/openai поддерживает формат API завершения чата OpenAI.
• Гибкое управление: Отрегулируйте температуру, верхний предел, штрафы и многое другое для получения индивидуальных результатов.
• Потоковая передача и пакетная обработка: Выберите предпочитаемый вами режим ответа.

Вариант 2: Многоагентные рабочие процессы с OpenAI Агент SDK

Создавайте передовые многоагентные системы путем интеграции Novita AI с SDK агентов OpenAI:

• Подключи и играй: Используйте Novita AIАвтора LLMв любом рабочем процессе OpenAI Agents.
• Поддерживает передачу данных, маршрутизацию и использование инструментов: Проектирование агентов, которые могут делегировать, сортировать или выполнять функции, все это работает на Novita AIмодели.
• Интеграция Python: Просто укажите SDK на конечную точку Novita (https://api.novita.ai/v3/openai) и используйте свой ключ API.

Подключите Qwen 3 API на сторонних платформах

• Обнимая лицо: Используйте Qwen 3 в пространствах, трубопроводах или с библиотекой Transformers через Novita AI конечные точки.

• Агентские и оркестровочные фреймворки: Легко подключиться Novita AI с партнерскими платформами, такими как Продолжить, ВсеLLM,Лангчейн, Диди и Лангфлоу через официальные соединители и пошаговые руководства по интеграции.
• API, совместимый с OpenAI: Наслаждайтесь простой миграцией и интеграцией с помощью таких инструментов, как Cline и Курсор, разработанный для стандарта API OpenAI.

Какие методы доступа к ИИ вам подходят?

Доступ к Llama 3.2 1B можно получить тремя основными способами: локальное развертывание, выполнение на устройстве и Доступ к API. Вот как выбрать правильный метод в зависимости от ваших потребностей:

• Локальное развертывание: Идеально подходит для разработчиков с достаточным количеством оборудования, которым нужен полный контроль.
• Использование на устройстве: Лучше всего подходит для мобильных и периферийных сценариев, где важны автономные и конфиденциальные выводы.
• Доступ к API: Подходит для быстрой интеграции, несложных в обслуживании рабочих процессов и масштабируемого развертывания.

Независимо от того, развёртываете ли вы систему на ноутбуке, мобильном устройстве или в облаке, Llama 3.2 1B предлагает практичное решение для быстрой, конфиденциальной и экономичной генерации ИИ. Благодаря полной поддержке современных фреймворков и рабочих процессов разработки, это идеальный выбор для лёгкого, готового к использованию ИИ.

Часто задаваемые вопросы (FAQ)

Novita AI — это комплексная облачная платформа, которая поможет вам реализовать ваши амбиции в области искусственного интеллекта. Интегрированные API, бессерверные решения, GPU Instance — необходимые вам экономичные инструменты. Избавьтесь от инфраструктуры, начните бесплатно и воплотите свою идею ИИ в реальность.

Рекомендовать Чтение

• Почему требования LLaMA 3.3 к 70B VRAM представляют собой проблему для домашних серверов?
• Llama 3.3 против GPT-4o: выбор правильной модели
• Llama 3.3 70B: характеристики, руководство по доступу и сравнение моделей