Исследуйте преобразующее влияние больших мультимодальных моделей (LMM), таких как CLIP и Flamingo, которые могут обрабатывать и генерировать разнообразные модальности данных, такие как текст и изображения. Узнайте о передовых направлениях исследований, включая добавление новых модальностей, повышение эффективности обучения и генерацию мультимодальных выходных данных, с потенциалом революционизировать отрасли и взаимодействие пользователей с ИИ.
История
Долгое время модели машинного обучения работали в одном режиме данных: текст для перевода и языкового моделирования, изображение для обнаружения объектов и классификации, аудио для распознавания речи. Однако человеческий интеллект не ограничивается одной модальностью. Мы читаем и пишем текст, интерпретируем изображения и видео, слушаем музыку для расслабления и полагаемся на звуки для обнаружения опасности. Чтобы эффективно функционировать в реальном мире, ИИ также должен уметь работать с мультимодальными данными.
Осознавая это, OpenAI подчеркнула важность включения дополнительных модальностей, таких как изображения, в большие языковые модели (LLM), что стало важнейшим рубежом в исследованиях и разработках ИИ. Эта интеграция дополнительных модальностей превращает LLM в большие мультимодальные модели (LMM). За последний год крупные исследовательские лаборатории представили множество новых LMM, таких как Flamingo от DeepMind, BLIP от Salesforce, KOSMOS-1 от Microsoft, PaLM-E от Google и Macaw-LLM от Tencent. Даже чат-боты, такие как ChatGPT и Gemini, попадают в категорию LMM.
Однако не все мультимодальные системы являются LMM. Модели, такие как Midjourney, Stable Diffusion и DALL-E, могут обрабатывать несколько модальностей, но не имеют компонента языковой модели. Мультимодальные системы могут охватывать различные сценарии: где вход и выход относятся к разным модальностям (например, текст-в-изображение, изображение-в-текст), где входные данные мультимодальны (например, обработка как текста, так и изображений) или где выходные данные мультимодальны (например, генерация как текста, так и изображений).
Что такое мультимодальность
Мультимодальность может означать одно или несколько из следующего:
- Вход и выход относятся к разным модальностям (например, текст-в-изображение, изображение-в-текст)
- Входные данные мультимодальны (например, система, которая может обрабатывать как текст, так и изображения)
- Выходные данные мультимодальны (например, система, которая может генерировать как текст, так и изображения)
Зачем нужна мультимодальность
Мультимодальность незаменима во многих случаях использования, особенно в отраслях, работающих со смесью модальностей данных, включая здравоохранение, робототехнику, электронную коммерцию, розничную торговлю, гейминг и другие.
Действительно, интеграция данных из нескольких модальностей может значительно повысить производительность модели. Логично, что модель, способная обучаться как на тексте, так и на изображениях, превзойдет модель, ограниченную только одной модальностью.
Мультимодальные системы предлагают более гибкий интерфейс, позволяя пользователям взаимодействовать с ними различными способами в зависимости от их предпочтений или обстоятельств. Представьте, что вы можете задать вопрос, набрав текст, произнеся его вслух или просто направив камеру на объект.
Модальности данных
Различные модальности данных включают текст, изображение, аудио, табличные данные и другие. Каждую модальность можно перевести или аппроксимировать в другую форму:
- Аудио можно представить в виде изображений, например, мел-спектрограмм.
- Речь можно транскрибировать в текст, хотя при таком преобразовании могут быть потеряны нюансы, такие как громкость, интонация и паузы.
- Изображение можно преобразовать в вектор, который затем можно выровнять и представить в виде последовательности текстовых токенов.
- Видео состоит из последовательностей изображений в сочетании с аудио. Однако современные модели ML обычно обрабатывают видео только как последовательности изображений, игнорируя значение звука. Это ограничение примечательно, поскольку звук вносит значительный вклад в восприятие видео, о чем свидетельствует тот факт, что 88% пользователей TikTok подчеркивают его важность.
- Текст можно запечатлеть как изображение, просто сфотографировав его.
- Таблицы данных можно преобразовать в диаграммы, которые по сути являются изображениями.
Вот различные модальности novita.ai:
novita.ai — это универсальная платформа для безграничного творчества, предоставляющая доступ к 100+ API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, недорого и с оплатой по мере использования — она избавляет вас от хлопот с обслуживанием GPU при создании собственных продуктов. Попробуйте бесплатно.
Задачи мультимодальности
Чтобы понять мультимодальные системы, полезно рассмотреть задачи, которые они решают. Эти задачи очень разнообразны, и их организация может принимать множество форм. В литературе задачи «зрение-язык» часто делят на две основные группы: генерацию и понимание «зрение-язык» (VLU), которое охватывает задачи, не связанные с генерацией. Однако стоит отметить, что различие между этими группами несколько размыто, поскольку способность генерировать ответы по своей сути также включает понимание.
Генерация
В генеративных задачах выходные данные могут быть как одномодальными (например, текст, изображение или 3D-рендеринг), так и мультимодальными. Хотя одномодальные выходные данные распространены в современных моделях, разработка мультимодальных выходных данных все еще продолжается. Мы рассмотрим мультимодальные выходные данные ближе к концу этого поста.
Генерация изображений (синтез текст-в-изображение)
Эта категория задач очевидна. Примеры: Dall-E, Stable Diffusion и Midjourney.
Генерация текста
Распространенной задачей в генерации текста является визуальный ответ на вопросы (VQA), где модель получает как текст, так и изображения для получения контекста. Это позволяет пользователям использовать свои камеры, чтобы задавать такие вопросы, как: «Что не так с моей машиной?» или «Как приготовить это блюдо?».
Аналогично, создание подписей к изображениям является еще одним распространенным применением. Его можно интегрировать в системы поиска изображений на основе текста, используемые организациями, обладающими обширными библиотеками изображений, включающими изображения продуктов, графики, дизайны, фотографии команды, рекламные материалы и многое другое. Автоматически генерируя подписи и метаданные, ИИ упрощает процесс поиска конкретных изображений в этих коллекциях.
Понимание «зрение-язык»
Сосредоточимся на двух типах задач: классификация и поиск изображений по тексту (TBIR).
Классификация
Модели классификации ограничены выдачей результатов, которые попадают в заранее определенный список классов. Это подходит, когда цель — различить заданное количество потенциальных исходов. Например, в системе оптического распознавания символов (OCR) задача состоит просто в предсказании, соответствует ли визуальный образ одному из распознаваемых символов, таких как цифра или буква.
Задача, тесно связанная с классификацией, — это поиск изображение-в-текст: имея изображение и набор предопределенных текстов, цель состоит в том, чтобы определить текст, наиболее вероятно соответствующий изображению. Это приложение может быть особенно полезно для поиска изображений продуктов, например, для получения отзывов о продукте на основе заданного изображения.
Обработка документов с помощью GPT-4V. Ошибка модели выделена красным.
Поиск изображений по тексту (поиск изображений)
Поиск изображений важен не только для поисковых систем, но и для предприятий, стремящихся упорядочить свои внутренние изображения и документы. Некоторые называют поиск изображений по тексту «поиск текст-в-изображение».
Существуют различные подходы к поиску изображений по тексту. Два известных метода включают:
- Генерация подписей и метаданных для каждого изображения вручную или автоматически (как в случае с созданием подписей к изображениям в генерации текста). Для текстового запроса цель состоит в том, чтобы найти изображения, чьи подписи или метаданные наиболее точно соответствуют запросу.
- Обучение совместного пространства вложений как для изображений, так и для текста. В этом подходе текстовый запрос генерирует вложение, и цель состоит в том, чтобы найти изображения, чьи вложения наиболее похожи на вложение запроса.
Второй подход обеспечивает большую гибкость и, как ожидается, получит более широкое распространение. Он основан на создании надежного совместного пространства вложений для зрения и языка, подобного тому, которое разработано OpenAI в CLIP.
Ключевой компонент мультимодального обучения
На высоком уровне мультимодальная система включает следующие компоненты:
- Кодировщики для каждой модальности данных, отвечающие за генерацию вложений, специфичных для этой модальности.
- Механизмы для выравнивания вложений из разных модальностей в едином мультимодальном пространстве вложений.
- Для генеративных моделей необходима языковая модель для генерации текстовых ответов. Учитывая, что входные данные могут включать как текст, так и визуальные элементы, требуются инновационные методы, чтобы позволить языковой модели основывать свои ответы не только на тексте, но и на визуальных данных.
В идеале, как можно больше этих компонентов должно быть предварительно обучено и пригодно для повторного использования, чтобы повысить эффективность и универсальность.
Обзор существующих мультимодальных систем
Выбор того, на каких мультимодальных системах сосредоточиться в этом посте, оказался сложной задачей из-за изобилия замечательных доступных вариантов. В конечном итоге я решил остановиться на двух моделях: CLIP (2021) и Flamingo (2022). Этот выбор был основан на их значимости, а также доступности и ясности общедоступной информации.
CLIP вошел в историю как первая модель, способная обобщать несколько задач классификации изображений с использованием методов нулевого и малого количества примеров. С другой стороны, хотя Flamingo не была первой большой мультимодальной моделью, способной генерировать открытые ответы (BLIP от Salesforce опередил ее на 3 месяца), ее впечатляющая производительность привела к тому, что многие стали считать ее определяющим моментом, подобным GPT-3 в мультимодальной области.
Несмотря на то, что это более старые модели, методы, используемые CLIP и Flamingo, остаются актуальными и сегодня. Они служат фундаментальными столпами для понимания более новых моделей в быстро развивающемся мультимодальном ландшафте, где постоянно разрабатывается множество инновационных идей.
CLIP: Контрастивное предобучение язык-изображение
Главный прорыв CLIP заключается в его способности отображать данные из разных модальностей — текста и изображений — в общее пространство вложений. Это общее мультимодальное пространство вложений значительно упрощает такие задачи, как текст-в-изображение и изображение-в-текст.
Более того, обучение этого мультимодального пространства вложений привело к созданию надежного кодировщика изображений в CLIP. Следовательно, CLIP демонстрирует конкурентоспособную производительность с нулевым обучением в различных задачах классификации изображений. Сила этого кодировщика изображений распространяется и на другие приложения, включая генерацию изображений, визуальный ответ на вопросы и поиск изображений по тексту. Примечательно, что Flamingo и LLaVA используют CLIP в качестве кодировщика изображений, в то время как DALL-E использует CLIP для переранжирования сгенерированных изображений. Однако остается неясным, включает ли GPT-4V CLIP в свою архитектуру.
CLIP использовал методы обучения с естественным языком и контрастивного обучения, что позволило модели масштабировать свои данные и повысить эффективность обучения.
Высокоуровневая архитектура CLIP
В архитектуре CLIP как кодировщики, так и матрицы проекции обучаются совместно с нуля. Цель обучения — максимизировать показатели сходства для правильных пар (изображение, текст), минимизируя при этом показатели сходства для неправильных пар. Этот метод известен как контрастивное обучение.
Применения CLIP
Классификация
В настоящее время CLIP служит надежным базовым решением «из коробки» для многих задач классификации изображений, используемым либо в исходном виде, либо доработанным для конкретных применений.
Поиск изображений по тексту
Учитывая, что процесс обучения CLIP концептуально схож как с поиском изображение-в-текст, так и с поиском текст-в-изображение, он имеет значительный потенциал для широких применений, таких как поиск изображений. Однако его производительность относительно общего уровня современного состояния заметно ниже в задачах поиска изображений.
Были предприняты усилия по использованию CLIP для поиска изображений. Например, пакет clip-retrieval работает следующим образом:
- Сгенерировать вложения CLIP для всех изображений и сохранить их в векторной базе данных.
- Сгенерировать вложение CLIP для каждого текстового запроса.
- Запросить векторную базу данных на предмет всех изображений, чьи вложения близки к вложению текстового запроса.
Генерация изображений
Совместные вложения изображений и текста CLIP предоставляют ценную поддержку для задач генерации изображений. Например, DALL-E (2021) использует CLIP для переранжирования множества сгенерированных визуалов на основе заданного текстового запроса, предоставляя пользователю наилучшие визуалы.
В 2022 году OpenAI представила unCLIP — модель синтеза текст-в-изображение, обусловленную латентами CLIP. Она состоит из двух основных компонентов:
- CLIP обучен и остается фиксированным. Предобученная модель CLIP может создавать вложения как для текста, так и для изображений в одном пространстве вложений.
- Во время генерации изображения выполняются два шага: a. Использовать CLIP для генерации вложений для заданного текста. b. Использовать диффузионный декодер для генерации изображений, обусловленных этими вложениями.
Генерация текста
Авторы CLIP исследовали создание модели генерации текста. Один из вариантов, с которым они экспериментировали, известен как LM RN50. Однако, хотя эта модель могла генерировать текстовые ответы, ее производительность стабильно отставала примерно на 10% от наиболее производительной модели CLIP во всех оцененных задачах понимания «зрение-язык».
Хотя сам CLIP сегодня не используется напрямую для генерации текста, его кодировщик изображений часто служит основой для больших мультимодальных моделей (LMM), способных генерировать текст.
Flamingo: рассвет LMM
В отличие от CLIP, Flamingo способен создавать текстовые ответы. Если упростить, Flamingo можно рассматривать как CLIP в сочетании с языковой моделью, с дополнительными методами, позволяющими языковой модели генерировать текстовые токены, обусловленные как визуальными, так и текстовыми входными данными.
Flamingo может генерировать текстовые ответы, обусловленные как текстом, так и изображениями.
Высокоуровневая архитектура Flamingo
Flamingo можно разбить на два основных компонента:
- Кодировщик зрения: этот аспект включает обучение модели, подобной CLIP, с использованием контрастивного обучения. После этого текстовый кодировщик модели отбрасывается, а кодировщик зрения остается замороженным для интеграции в основную модель.
- Языковая модель: Flamingo дорабатывает Chinchilla путем тонкой настройки для генерации текстовых токенов, обусловленных как визуальными, так и текстовыми входными данными. Этот процесс включает использование потерь языковой модели и двух дополнительных компонентов: Perceiver Resampler и слоев GATED XATTN-DENSE.
Набор данных
Flamingo использовал 4 набора данных: 2 набора пар (изображение, текст), 1 набор пар (видео, текст) и 1 набор перемежающихся изображений и текста.
Языковая модель Flamingo
В Flamingo в качестве языковой модели используется Chinchilla, с особым акцентом на заморозку 9 предобученных слоев LM Chinchilla. В отличие от традиционной языковой модели, которая предсказывает следующий текстовый токен только на основе предыдущих текстовых токенов.
Flamingo расширяет это, предсказывая следующий текстовый токен с учетом как предыдущих текстов, так и визуальных токенов. Эта способность генерировать текст, обусловленный как текстовыми, так и визуальными входными данными, обеспечивается интеграцией Perceiver Resampler и слоев GATED XATTN-DENSE.
CLIP против Flamingo
Будущие направления для LMM
CLIP существует уже 3 года, а Flamingo приближается к своему второму дню рождения. Хотя их архитектуры обеспечивают прочную основу для понимания построения больших мультимодальных моделей (LMM), в этой области произошло множество достижений.
Несколько направлений в мультимодальном пространстве кажутся мне особенно интригующими, хотя этот список ни в коем случае не является исчерпывающим. Длина этого поста и мое продолжающееся исследование темы способствуют его неполноте. Если у вас есть какие-либо идеи или рекомендации, я буду очень признателен!
Включение большего количества модальностей данных
В области мультимодальных систем текущий фокус в основном вращается вокруг текста и изображений. Однако это лишь вопрос времени, когда возникнет потребность в системах, способных интегрировать другие модальности, такие как видео, музыка и 3D-данные. Перспектива наличия единого пространства вложений, вмещающего все модальности данных, действительно захватывающая.
Некоторые заметные работы в этой области включают:
- ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding (Xue et al., декабрь 2022)
- ImageBind: One Embedding Space To Bind Them All (Girdhar et al., май 2023)
- NExT-GPT: Any-to-Any Multimodal Large Language Model (Wu et al., сентябрь 2023)
Кроме того, амбициозный проект Pathways (2021) от Джеффа Дина направлен на «создание мультимодальных моделей, которые одновременно охватывают понимание зрения, слуха и языка».
Обучение более эффективной мультимодальной модели
В то время как Flamingo использовал 9 предобученных и замороженных слоев из Chinchilla, ему потребовалось обучать с нуля свой кодировщик зрения, Perceiver Resampler и слои GATED XATTN-DENSE. Обучение этих модулей с нуля может быть вычислительно затратным. Следовательно, многие недавние работы были сосредоточены на разработке более эффективных методов для начальной загрузки мультимодальных систем с уменьшенным обучением с нуля.
Некоторые из этих работ показывают многообещающие результаты. Например, BLIP-2 превзошел Flamingo-80B на 8,7% в задаче zero-shot VQA-v2, имея в 54 раза меньше обучаемых параметров.
Заметные работы в этой области включают:
- BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
- [LAVIN] Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
- LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
Изображения ниже взяты из учебника Чуньюаня Ли (Chunyuan Li) по большим мультимодальным моделям на CVPR 2023, который настоятельно рекомендуется для всестороннего освещения данной темы.
Генерация мультимодальных выходных данных
По мере того, как модели, способные обрабатывать мультимодальные входные данные, становятся все более распространенными, развитие возможностей мультимодальных выходных данных все еще отстает. Многие практические сценарии требуют мультимодальных выходных данных. Например, при запросе объяснения от ChatGPT о RLHF, эффективный ответ может включать графики, уравнения и даже базовые анимации.
Для генерации мультимодальных выходных данных модель должна сначала создать общий промежуточный результат. Критическим соображением является природа этого промежуточного результата.
Один из подходов для промежуточного результата — это текст, который затем направляет генерацию или синтез других действий.
Например, CM3 (Aghajanyan et al., 2022) генерирует HTML-разметку, которая может быть скомпилирована в веб-страницы, содержащие не только текст, но и форматирование, ссылки и изображения. GPT-4V генерирует код LaTeX, который затем может быть реконструирован в таблицы данных.
Заключение
Эволюция от одномодальных к мультимодальным системам ИИ знаменует собой значительный прогресс в исследованиях и разработках искусственного интеллекта. Такие модели, как CLIP и Flamingo, проложили путь для больших мультимодальных моделей (LMM), способных обрабатывать и генерировать разнообразные модальности данных, такие как текст, изображения и другие. По мере продолжения прогресса в этой области исследователи исследуют новые рубежи, включая добавление дополнительных модальностей, таких как видео и 3D-данные, повышение эффективности обучения и разработку методов для генерации мультимодальных выходных данных. Эти достижения несут огромные перспективы для революции в различных отраслях и улучшения взаимодействия пользователей с системами ИИ.
novita.ai — универсальная платформа для безграничного творчества, предоставляющая доступ к 100+ API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, недорого и с оплатой по мере использования — она избавляет вас от хлопот с обслуживанием GPU при создании собственных продуктов. Попробуйте бесплатно.
Рекомендуемое чтение
