Mixtral 8x7b quantized vs Mistral: Какая модель лучше?

Ключевые моменты

Обзор Mistral 7B

• Параметры: 7,3 миллиарда.
• Производительность: Превосходит более крупные модели, такие как Llama 2 13B.
• Инновации: Grouped-query attention (GQA) для более быстрого инференса; Sliding Window Attention (SWA) для обработки более длинных последовательностей.
• Лицензия: Apache 2.0 для неограниченного использования.

Обзор квантованной модели Mixtral 8x7B

• Продвинутое квантование: 4-битное квантование для уменьшения потребления памяти.
• Эффективный инференс: Более быстрый и ресурсоэффективный, подходит для потребительского оборудования.
• Смесь экспертов (MoE): Выбирает подходящих «экспертов» для разных частей входных данных, эффективно масштабируясь.
• Многоязычность: Поддерживает несколько языков и отлично справляется с задачами программирования.

Введение

Добро пожаловать в наш всесторонний обзор семейств моделей Mistral и Mixtral — двух революционных языковых моделей, разработанных компанией Mistral AI. В этом блоге мы рассмотрим особенности, производительность и уникальные инновации моделей Mistral 7B и квантованной Mixtral 8x7B. Мы углубимся в передовые техники, используемые в этих моделях, такие как квантование и Смесь экспертов (MoE), а также предоставим подробное сравнение их возможностей и требований к оборудованию. Будь вы энтузиастом ИИ или профессионалом в этой области, это руководство поможет вам понять выдающиеся достижения, которые привносят эти модели.

Обзор Mistral 7b

Mistral 7B — это мощная языковая модель с 7,3 миллиарда параметров, разработанная компанией Mistral AI. Ее ключевые особенности включают:

Превосходная производительность по сравнению с Llama

Она превосходит более крупные модели, такие как Llama 2 13B, на различных бенчмарках, демонстрируя эффективность.

Инновационные механизмы внимания

Использует Grouped-query attention (GQA) для более быстрого инференса и Sliding Window Attention (SWA) для эффективной обработки длинных последовательностей.

Открытая лицензия

Выпущена под лицензией Apache 2.0, что позволяет неограниченное использование и развертывание на различных платформах.

Обзор квантованной модели Mixtral 8x7b

Квантованная Mixtral 8x7b — это большая языковая модель, использующая передовые методы квантования для оптимизации производительности и эффективности:

• Продвинутое квантование: Использует современные методы квантования, такие как 4-битное квантование, что значительно уменьшает объем памяти модели без существенного снижения производительности.
• Эффективный инференс: Квантованная модель обеспечивает более быстрый и ресурсоэффективный инференс, что делает её пригодной для развертывания на потребительском оборудовании с ограниченными вычислительными ресурсами.
• Смесь экспертов: Интегрирует слой MoE, который эффективно обрабатывает информацию, выбирая наиболее релевантных «экспертов» для разных частей входных данных, позволяя модели масштабироваться и работать как гораздо более крупная.
• Многоязычные возможности: Как и полная точная модель, квантованная Mixtral 8x7b поддерживает несколько языков, включая английский, французский, немецкий, испанский и итальянский, а также отлично справляется с задачами программирования.

Квантованная Mixtral 8x7b может рассматриваться как преемник или специализированная версия Mistral 7B, объединяющая архитектурные инновации подхода MoE и улучшения эффективности, привносимые квантованием. Поэтому, чтобы лучше понять различия между Mixtral 8x7b quantized и Mistral, мы рассмотрим квантование и подход MoE.

Mixtral 8x7b quantized vs Mistral: Понимание квантования

Квантование, одна из главных отличительных особенностей Mixtral 8x7b quantized, как описано в статье, представляет собой процесс снижения точности весов модели до меньшего количества бит, что значительно уменьшает объем памяти модели. Это достигается без существенного ухудшения производительности модели на задачах тонкой настройки. Вот краткий и профессиональный обзор того, как применяется квантование и его значение:

Применение квантования в Mixtral 8x7b quantized

• Метод QLORA: Для тонкой настройки модели Mixtral 8x7b с точностью всего 4 бита используется подход QLORA (Quantized Low-rank Adapters). Этот метод позволяет обратное распространение градиентов через замороженную, 4-битную квантованную предобученную языковую модель в Low-Rank Adapters (LoRA).
• Инновации: Подход QLORA включает несколько инноваций, таких как:
• 4-bit NormalFloat (NF4): Новый тип данных, оптимальный с информационно-теоретической точки зрения для нормально распределенных весов, обеспечивающий лучшие эмпирические результаты по сравнению с традиционными 4-битными представлениями.
• Двойное квантование (Double Quantization): Техника, дополнительно снижающая использование памяти за счет квантования самих констант квантования, что приводит к дополнительной экономии памяти.
• Paged Optimizers: Стратегия управления пиками памяти, особенно полезная при обработке мини-батчей с длинными последовательностями.

Значение квантования

• Эффективность памяти: Основное значение квантования в модели Mixtral 8x7b — это резкое снижение требований к памяти, что делает возможной тонкую настройку больших моделей на GPU с ограниченной видеопамятью.
• Доступность: Уменьшая объем памяти, квантование демократизирует доступ к тонкой настройке больших языковых моделей, так как теперь такие задачи можно выполнять на потребительском оборудовании, которое обычно не справилось бы с нагрузкой полных точных моделей.
• Сохранение производительности: Несмотря на сниженную точность, метод QLORA гарантирует, что тонко настроенная модель сохраняет производительность, сравнимую с моделью, настроенной с полной 16-битной точностью.
• Масштабируемость: Квантование позволяет обучать более крупные модели, чем было бы возможно иначе, учитывая ограничения памяти стандартного оборудования. Это открывает путь к дальнейшему масштабированию размера моделей при контроле потребления ресурсов.

Различные типы квантованных моделей Mixtral 8x7b

Ikawrakow на GitHub представил сравнение различных типов квантованных моделей Mixtral 8x7b и текущего подхода к квантованию в llama.cpp с использованием перплексии Wikitext для длины контекста 512 токенов.

«Ошибка квантования» определяется как (PPL(квантованная модель) - PPL(int8))/PPL(int8).

Mixtral 8x7b quantized vs Mistral: Понимание MoE

Смесь экспертов (Mixture of Experts, MoE) — это передовая парадигма машинного обучения, которая вводит разреженность в модели глубокого обучения, особенно в нейронных сетях. Традиционные нейронные сети используют один и тот же набор параметров для всех входных данных. В отличие от них, модели MoE состоят из пула специализированных экспертов, каждый из которых способен обрабатывать различные подмножества входного пространства. Механизм вентиляции (gating) или маршрутизатор определяет активацию этих экспертов на основе входных данных.

Применение MoE в Mixtral 8x7b

Mixtral 8x7b использует фреймворк MoE для достижения высокой производительности при эффективных вычислениях. В этой модели традиционные плотные сети прямой связи (FFN) заменяются слоями MoE, состоящими из нескольких экспертов. Каждый эксперт представляет собой меньшую нейронную сеть, специализирующуюся на определённых аспектах входных данных. Маршрутизатор в Mixtral 8x7b динамически выбирает наиболее релевантных экспертов для каждого токена, позволяя модели сосредоточить вычислительные ресурсы на наиболее информативных частях входных данных.

Такое применение MoE в Mixtral 8x7b позволяет модели масштабироваться до миллиардов параметров, сохраняя высокую скорость инференса. Это также позволяет модели обрабатывать более длинные последовательности и достигать передовых результатов в различных задачах обработки естественного языка.

Значение MoE

Значимость MoE заключается в его способности объединять преимущества крупномасштабных моделей с эффективностью разреженных вычислений. Вот несколько ключевых моментов, подчеркивающих его важность:

• Масштабируемость: MoE позволяет создавать модели с беспрецедентным количеством параметров без соответствующего увеличения вычислительных затрат, что делает возможным обучение и развертывание моделей, которые ранее были неосуществимы.
• Эффективность: Активируя только подмножество экспертов для каждого входа, модели MoE могут обрабатывать информацию более эффективно, что приводит к более быстрому инференсу по сравнению с плотными моделями аналогичного размера.
• Адаптивность: Модели MoE могут адаптироваться к разнообразным и сложным распределениям данных, специализируя различных экспертов на разных аспектах данных, что потенциально улучшает производительность на широком круге задач.
• Оптимизация ресурсов: MoE позволяет лучше использовать аппаратные ресурсы, снижая потребность в избыточной вычислительной мощности и пропускной способности памяти, что критически важно для развертывания моделей на устройствах с ограниченными ресурсами.

Mixtral 8x7b quantized vs Mistral: Применения и варианты использования

Исследования и разработки:

Обе модели могут быть ценными в исследованиях и разработках, где изучение передовых языковых моделей может привести к прогрессу в технологии ИИ. Выбор между ними может зависеть от конкретной направленности исследования, например, от компромисса между производительностью и эффективностью.

Коммерческое развертывание:

Для коммерческих приложений, где критичен баланс производительности и использования ресурсов, квантованная Mixtral 8x7b может предложить более практичное решение. Она обеспечивает хороший компромисс между возможностями модели и требованиями к оборудованию.

Многоязычные приложения:

Поскольку обе модели способны работать с несколькими языками, они могут быть развернуты в многоязычных средах для таких приложений, как кросс-языковой перевод, создание многоязычного контента и инструменты для изучения языков.

Задачи с интенсивным инференсом:

Квантованная Mixtral 8x7b может лучше справляться с задачами, требующими интенсивного инференса, где скорость и эффективность критичны, такими как диалоговые ИИ в реальном времени, чат-боты и автоматизация обслуживания клиентов.

Mixtral 8x7b quantized vs Mistral: Производительность и требования к оборудованию

Mixtral 8x7b quantized vs Mistral: Сравнение производительности

Хотя данные о производительности квантованной Mixtral 8x7B в открытом доступе отсутствуют, Ингрид Стивенс (Ingrid Stevens) провела несколько экспериментов с различными промптами для тестирования Mixtral-8x7B на Vercel и Mixtral-8x7B Q3_K_M на чипе M1, сравнивая их с ChatGPT 3.5. Она пришла к выводу, что существенной разницы между квантованной и неквантованной версиями Mixtral 8x7B нет. Поэтому для сравнения производительности квантованной Mixtral 8x7B с Mistral 7B имеет смысл использовать бенчмарки Mistral 7B и Mixtral 8x7B, представленные на Huggingface Open LLM Leaderboard.

1. Средний балл: Mixtral 8x7B имеет более высокий средний балл (19,23) по сравнению с Mistral 7B (14,17), что указывает на то, что в среднем Mixtral 8x7B работает лучше по оцениваемым задачам.
2. IFEval: Mixtral 8x7B получает более высокий балл (23,5) на бенчмарке IFEval, который оценивает способность модели следовать инструкциям, по сравнению с Mistral 7B (22,66).
3. BBH: На бенчмарке BBH, который проверяет способность модели отвечать на вопросы по заданному тексту, Mixtral 8x7B показывает улучшенный результат: 29,73 против 24,04 у Mistral 7B.
4. MATH Lvl 5: Для математических рассуждений 5-го уровня Mixtral 8x7B значительно превосходит Mistral 7B: 8,84 против 2,64, что указывает на гораздо более сильные способности в решении математических задач.
5. GPQA: На бенчмарке GPQA, оценивающем производительность модели в различных задачах ответов на вопросы, Mixtral 8x7B снова демонстрирует превосходство с результатом 9,28, тогда как у Mistral 7B — 5,59.
6. MUSR: Для бенчмарка MUSR, ориентированного на суммаризацию, Mixtral 8x7B получает более высокий балл (12,55), чем Mistral 7B (8,36).
7. MMLU-PRO: На бенчмарке MMLU-PRO, включающем профессиональные вопросы с несколькими вариантами ответов из различных областей, Mixtral 8x7B показывает существенное улучшение: 31,5 против 21,7 у Mistral 7B.

Mixtral 8x7b quantized vs Mistral: Сравнение требований к оборудованию

Для загрузки Mixtral с 4-битным квантованием требуется GPU с как минимум 30 ГБ видеопамяти. Для Mistral 7B можно использовать GPU с как минимум 24 ГБ видеопамяти, что делает RTX 6000 Ada или A100 подходящими вариантами для обучения. Novita AI предлагает экономичное, легкодоступное облако GPU с оплатой по мере использования, включая RTX 4090 24GB, 1x RTX 3090 24GB, 1x A100 80GB, RTX A6000 48GB и L40 48GB. Кроме того, доступен мгновенный доступ к Jupyter с предустановленными Tensorflow, Pytorch, cuDNN, CUDA, TensorRT, Llama3 и Stable Diffusion. Ознакомьтесь с самым дешевым облаком для ИИ в мире!

Изучение других моделей Mistral/Mixtral

Семейство моделей Mistral/Mixtral обширно. Согласно Huggingface Open LLM Leaderboard, существует множество похожих или тонко настроенных моделей Mistral/Mixtral с превосходной производительностью или отличительными особенностями. Не пропустите!

teknium/openhermes-2.5-mistral-7b на Novita AI

OpenHermes 2.5 Mistral 7B — это современная тонкая настройка Mistral, продолжение модели OpenHermes 2, обученное на дополнительных наборах данных по коду.

Nous-Hermes-2-Mixtral-8x7B-DPO на Novita AI

Nous Hermes 2 Mixtral 8x7B DPO — это новая флагманская модель Nous Research, обученная на основе MoE LLM Mixtral 8x7B. Модель была обучена на более чем 1 000 000 записей, в основном сгенерированных GPT-4, а также на других высококачественных данных из открытых наборов данных, достигнув передовой производительности на различных задачах.

mistralai/mistral-nemo на Novita AI

Mistral nemo — это модель с 12 миллиардами параметров и длиной контекста 128 тысяч токенов, созданная Mistral в сотрудничестве с NVIDIA. Модель многоязычная, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и хинди. Она поддерживает вызов функций и выпущена под лицензией Apache 2.0.

cognitivecomputations-dolphin-mixtral-8x22b на Novita AI

Dolphin 2.9 предназначен для следования инструкциям, диалогов и кодирования. Эта модель является тонкой настройкой Mixtral 8x22B Instruct. Она имеет длину контекста 64k и была тонко настроена с длиной последовательности 16k с использованием шаблонов ChatML. Модель не цензурирована и лишена выравнивания и предвзятости. Для этичного использования требуется внешний слой выравнивания.

Заключение

Как мы выяснили, квантованная модель Mixtral 8x7B с ее передовыми методами квантования и фреймворком MoE устанавливает новый стандарт эффективности памяти и оптимизации вычислительных ресурсов. Обязательно ознакомьтесь с обширным ассортиментом моделей Mistral/Mixtral, доступных на Novita AI, каждая из которых предлагает уникальные функции и улучшения производительности.

Часто задаваемые вопросы (FAQ)

Какое квантование лучше всего подходит для Mixtral?

Mixtral отлично работает с 3-битным квантованием, помещаясь на один RTX 3090 и обрабатывая примерно 50 токенов в секунду.

Когда была выпущена Mixtral 8x7B?

Mistral AI выпустила Mixtral 8x7B 8 декабря 2023 года.

Каков рейтинг Mistral 8x7B?

При рассмотрении популярного бенчмарка MMLU рейтинг производительности моделей Mistral выглядит следующим образом: Mistral Large (84,0%) > Mistral 8x22B (77,8%) > Mistral Small (72,2%) > Mixtral 8x7B (70,6%) > Mistral Nemo (68%) > Mistral 7B (62,5%).

Novita AI — это универсальная облачная платформа, которая расширяет ваши ИИ-амбиции. Интегрированные API, бессерверные решения, GPU Instance — экономически эффективные инструменты, которые вам нужны. Устраните инфраструктуру, начните бесплатно и воплотите свое ИИ-видение в реальность.

Рекомендуемое чтение

Introducing Mistral’s Mixtral 8x7B Model: Everything You Need to Know

Developing Mistral Instruct: Success Strategies

Introducing Mixtral-8x22B: The Latest and Largest Mixture of Expert Large Language Model

Diving Into dolphin-2.1-Mistral-7B and Alternative Uncensored LLMs