OpenAI представила свою новейшую большую языковую модель GPT-4o в понедельник, ознаменовав прогресс по сравнению с предшественником GPT-4 Turbo. Изучите её возможности, эффективность и потенциальные применения в следующих разделах.

Что такое GPT-4o от OpenAI?

GPT-4o — это новейшая большая языковая модель OpenAI. Буква «o» в названии означает «omni» (от лат. «все»), указывая на способность обрабатывать запросы, содержащие смесь текста, аудио, изображений и видео. Ранее для различных типов контента в интерфейсе ChatGPT использовались отдельные модели.

Например, при голосовом взаимодействии с ChatGPT речь преобразовывалась в текст с помощью Whisper, затем с помощью GPT-4 Turbo формировался текстовый ответ, который потом снова преобразовывался в речь с помощью TTS.

Аналогично, интеграция изображений в общение с ChatGPT требовала комбинации GPT-4 Turbo и DALL-E 3. Объединение этих функций в одной модели для разных форматов контента обеспечивает более быструю обработку, улучшенное качество результатов, упрощённый интерфейс и открывает новые возможности использования.

Чем GPT-4o отличается от GPT-4 Turbo?

Благодаря единой модели GPT-4o преодолевает различные ограничения, связанные с предыдущей системой голосового взаимодействия.

1. Теперь учитывается тон голоса, что позволяет давать эмоциональные ответы

В предыдущей системе OpenAI, которая объединяла Whisper, GPT-4 Turbo и TTS в последовательный процесс, механизм рассуждений GPT-4 имел доступ только к расшифрованным произнесённым словам. Это приводило к потере таких важных элементов, как тон голоса, фоновые шумы и различия между несколькими говорящими. В результате GPT-4 Turbo был ограничен в способности генерировать ответы с разными эмоциями или стилями речи.

Однако с унифицированной моделью, способной обрабатывать как текст, так и аудио, эта ценная аудиоинформация теперь может использоваться для предоставления ответов более высокого качества с более широким диапазоном стилей речи.

В приведённом ниже видео от OpenAI GPT-4o демонстрирует способность генерировать саркастический вывод.

2. Меньшая задержка обеспечивает общение в реальном времени

Предыдущий конвейер из трёх моделей приводил к небольшой задержке («латентности») между взаимодействием с ChatGPT и получением ответа.

OpenAI сообщила, что средняя задержка для голосового режима составляет 2,8 секунды с GPT-3.5 и 5,4 секунды с GPT-4. Для сравнения, средняя задержка GPT-4o составляет 0,32 секунды, что в 9 раз быстрее GPT-3.5 и в 17 раз быстрее GPT-4.

Такое снижение задержки приближается к среднему времени реакции человека (0,21 секунды) и особенно важно для сценариев диалога, где между человеком и ИИ происходит частый обмен репликами, и задержки между ответами накапливаются.

Эта функция напоминает запуск Google Instant (автозаполнение поисковых запросов) в 2010 году. Хотя поиск обычно не занимает много времени, экономия нескольких секунд при каждом использовании улучшает общее впечатление от продукта.

Один из многообещающих вариантов использования, ставший более реалистичным благодаря низкой задержке GPT-4o, — это перевод речи в реальном времени. OpenAI продемонстрировала сценарий, в котором два коллеги (один говорящий на английском, другой на испанском) общаются, а GPT-4o мгновенно переводит их разговор.

https://youtu.be/WzUnEfiIqP4?si=dnnqaNxT4ncX7cfJ

3. Интегрированное зрение позволяет описывать видеопоток с камеры

Наряду с интеграцией голоса и текста, GPT-4o также включает функции для работы с изображениями и видео. Это означает, что при предоставлении доступа к экрану компьютера она может описывать содержимое, отвечать на вопросы о показанных изображениях или даже служить помощником в ваших задачах.

В видео, опубликованном OpenAI с участием Сала Хана из Khan Academy, GPT-4o помогает Сала с домашним заданием по математике его сына.

https://youtu.be/_nSmkyDNulk?si=sFvBOgk9hznhqf4f

Выйдя за рамки взаимодействия с экраном, если вы предоставите GPT-4o доступ к камере (например, на вашем смартфоне), она сможет описывать визуальное окружение.

В комплексной демонстрации OpenAI все эти возможности объединены. Два смартфона с GPT-4o общаются друг с другом. Один GPT имеет доступ к камерам смартфонов и описывает свои визуальные наблюдения другому GPT, лишённому визуальных способностей.

В результате получается трёхсторонний разговор с участием человека и двух ИИ. Видео также включает сегмент, где ИИ поют — возможность, недоступная предыдущим моделям.

https://youtu.be/MirzFk_DSiI?si=Dv7HoVcNliXD3lJg

4. Улучшенная токенизация для алфавитов, отличных от латиницы, обеспечивает большую скорость и выгоду

Ключевой этап в работе больших языковых моделей (LLM) — преобразование текста запроса в токены (единицы текста, которые модель может понять).

В английском языке токен обычно соответствует одному слову или знаку препинания, хотя некоторые слова могут быть разделены на несколько токенов. В среднем около трёх английских слов представляются примерно четырьмя токенами.

Уменьшение количества токенов, необходимых для представления языка в модели, приводит к меньшему количеству вычислений и более быстрой генерации текста.

Более того, поскольку OpenAI взимает плату с пользователей API на основе количества введённых или выведенных токенов, меньшее количество токенов означает более низкие затраты для пользователей API.

GPT-4o имеет улучшенную модель токенизации, которая требует меньше токенов на единицу текста. Это улучшение особенно заметно для языков, не использующих латинский алфавит.

Например, для индийских языков (включая хинди, маратхи, тамильский, телугу и гуджарати) количество токенов сократилось в 2,9–4,4 раза. Арабский язык показал сокращение в 2 раза, а восточноазиатские языки (китайский, японский, корейский, вьетнамский) — в 1,4–1,7 раза.

5. Развёртывание на бесплатном тарифе

Текущая ценовая структура OpenAI для ChatGPT требует оплаты за доступ к топовой модели: GPT-4 Turbo был доступен исключительно на платных тарифах Plus и Enterprise.

Однако это меняется: OpenAI пообещала предоставить GPT-4o также на бесплатном тарифе. Пользователи Plus получат в пять раз больше сообщений по квоте, чем пользователи бесплатного тарифа.

Развёртывание будет происходить постепенно: сначала доступ получат участники «красной команды» (тестировщики, выявляющие уязвимости модели), затем — более широкий круг пользователей.

6. Запуск десктопного приложения ChatGPT

Хотя это напрямую не связано с GPT-4o, OpenAI также представила десктопное приложение ChatGPT. Учитывая улучшения задержки и мультимодальности, а также запуск приложения, очевидно, что динамика взаимодействия с ChatGPT претерпит трансформацию. Например, OpenAI продемонстрировала улучшенный рабочий процесс кодирования с использованием голоса и десктопного приложения ChatGPT. Прокрутите вниз до раздела «Варианты использования», чтобы увидеть этот пример в действии!

Как работает GPT-4o?

Множество типов контента, одна нейронная сеть

Подробности о работе GPT-4o остаются ограниченными. Единственная информация, предоставленная OpenAI в анонсе, заключается в том, что GPT-4o — это единая нейронная сеть, обученная на текстовых, визуальных и аудиовходах.

Этот новый подход знаменует отход от предыдущего метода использования отдельных моделей, обученных на различных типах данных.

Однако GPT-4o не первая модель, применяющая мультимодальный подход. В 2022 году TenCent Lab представила SkillNet — модель, объединяющую функции трансформеров LLM с техниками компьютерного зрения для улучшения распознавания китайских иероглифов.

Аналогично, в 2023 году совместными усилиями ETH Zurich, MIT и Stanford University был создан WhisBERT — вариант из серии больших языковых моделей BERT. Хотя GPT-4o не является пионером, она выделяется своей амбициозностью и мощностью по сравнению с предыдущими попытками.

Является ли GPT-4o радикальным изменением по сравнению с GPT-4 Turbo?

Степень изменений архитектуры GPT-4o по сравнению с GPT-4 Turbo, по-видимому, зависит от того, к кому обращаться — к инженерам или маркетологам OpenAI. В апреле на LMSYS Chatbot Arena (рейтинг лучших генеративных ИИ) появился бот «im-also-a-good-gpt2-chatbot». Этот загадочный ИИ теперь оказался GPT-4o.

Включение «gpt2» в название имеет значение. Оно отличает GPT-4o от GPT-2 (предшественника GPT-3.5 и GPT-4). Суффикс «2» широко интерпретировался как указание на совершенно новую архитектуру в серии моделей GPT.

По-видимому, сотрудники исследовательских или инженерных отделов OpenAI считают объединение текста, зрения и аудио в одной модели достаточно значительным изменением, чтобы оправдать первое увеличение номера версии за шесть лет.

С другой стороны, маркетинговая команда выбрала относительно сдержанный подход к названию, продолжая использовать обозначение «GPT-4».

Производительность GPT-4o по сравнению с другими моделями

OpenAI опубликовала сравнительные показатели бенчмарков для GPT-4o и нескольких других топовых моделей:

1. GPT-4 Turbo
2. GPT-4 (исходный выпуск)
3. Claude 3 Opus
4. Gemini Pro 1.5
5. Gemini Ultra 1.0
6. Llama 3 400B

Среди них только три модели имеют существенное значение для сравнения: GPT-4 Turbo, Claude 3 Opus и Gemini Pro 1.5. Эти модели боролись за первое место в рейтинге LMSYS Chatbot Arena в последние месяцы.

Хотя Llama 3 400B может стать конкурентом в будущем, она ещё разрабатывается. Поэтому представленные здесь результаты бенчмарков сосредоточены только на этих трёх моделях и GPT-4o.

Для оценки использовались шесть бенчмарков:

1. Massive Multitask Language Understanding (MMLU): охватывает задачи от элементарной математики до истории США, информатики, права и т.д. Модели должны обладать обширными знаниями о мире и способностью решать задачи для достижения высокой точности.
2. Graduate-Level Google-Proof Q&A (GPQA): включает вопросы с множественным выбором, составленные экспертами в области биологии, физики и химии. Вопросы высокого качества и чрезвычайной сложности; эксперты, имеющие или получающие докторскую степень в соответствующих областях, достигают точности 74%.
3. MATH: включает задачи по математике для средней и старшей школы.
4. HumanEval: оценивает функциональную корректность компьютерного кода, используется для оценки генерации кода.
5. Multilingual Grade School Math (MSGM): состоит из задач по математике начальной школы, переведённых на десять языков, включая такие недостаточно представленные языки, как бенгальский и суахили.
6. Discrete Reasoning Over Paragraphs (DROP): фокусируется на вопросах, требующих понимания целых абзацев, и включает такие задачи, как сложение, подсчёт или сортировка значений, разбросанных по нескольким предложениям.

Производительность GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 и Claude 3 Opus по шести бенчмаркам LLM. Оценки по каждому бенчмарку варьируются от 0 до 100. Воспроизведено на основе данных OpenAI. Данные для Gemini Pro 1.5 по бенчмарку GPQA не предоставлены.

GPT-4o превосходит другие модели в четырёх бенчмарках, хотя уступает Claude 3 Opus в MSGM и GPT-4 Turbo в DROP. Несмотря на эти отдельные результаты, общая производительность GPT-4o впечатляет, что указывает на потенциал нового подхода мультимодального обучения.

При более детальном рассмотрении показателей GPT-4o по сравнению с GPT-4 Turbo улучшения относительно скромны — разница составляет всего несколько процентных пунктов. Хотя это свидетельствует о заметном прогрессе за год, это далеко от драматических скачков производительности, наблюдавшихся от GPT-1 к GPT-2 или от GPT-2 к GPT-3.

Становится очевидным, что ежегодное улучшение текстовых рассуждений на 10% может стать новой нормой. Более лёгкие задачи уже решены, и значительные улучшения в текстовых рассуждениях становятся всё более сложными.

Однако эти бенчмарки LLM не полностью отражают производительность ИИ в мультимодальных задачах. Концепция мультимодального обучения относительно нова, и пока не хватает эффективных методов измерения способности модели работать с текстом, аудио и зрением.

В целом, производительность GPT-4o впечатляет и демонстрирует потенциал инновационного подхода мультимодального обучения.

Варианты использования GPT-4o

1. GPT-4o для анализа данных и задач кодирования

Последние модели GPT и их производные (например, GitHub Copilot) уже могут предлагать помощь в написании кода, объяснении ошибок и их исправлении. Мультимодальные возможности GPT-4o открывают интригующие возможности.

В рекламном видео с участием технического директора OpenAI Миры Мурати два исследователя OpenAI, Марк Чен и Баррет Зоф, продемонстрировали использование GPT-4o для взаимодействия с кодом на Python.

Код представляется GPT в виде текста, а функция голосового взаимодействия используется для запроса объяснений у GPT относительно кода. Затем, после выполнения кода, возможности зрения GPT-4o используются для объяснения графика.

В целом, процесс демонстрации экрана ChatGPT и устного вопроса потенциально проще, чем сохранение графика в виде файла изображения, его загрузка в ChatGPT и последующий письменный вопрос.

2. GPT-4o для перевода в реальном времени

Готовьтесь брать GPT-4o с собой в отпуск. Благодаря низкой задержке речи GPT-4o обеспечивает перевод в реальном времени, что делает возможным (при наличии роуминга в тарифе!) путешествие в странах, где вы не знаете языка, гораздо более управляемым.

3. Ролевые игры с GPT-4o

ChatGPT зарекомендовал себя как ценный ресурс для ролевых игр, будь то симуляция собеседования на работу вашей мечты в сфере данных или обучение отдела продаж повышению продаж продукта.

Ранее он поддерживал в основном текстовые ролевые игры, что могло быть неоптимально для некоторых сценариев. Однако с улучшенными речевыми возможностями устная ролевая игра теперь стала реальностью.

Однако, если вы предпочитаете традиционную текстовую игру, вы можете выбрать LLM API: от novita.ai

4. GPT-4o для помощи слабовидящим пользователям

Способность GPT-4o интерпретировать видеовход с камеры и устно описывать сцену обладает значительным потенциалом как ключевая функция для людей с нарушениями зрения. По сути, это зеркально отражает функцию аудиоописания на телевизорах, но применяется к реальным жизненным ситуациям.

Как получить доступ к GPT-4o в ChatGPT

Адрес ChatGPT изменился с chat.openai.com на chatgpt.com, что указывает на серьёзную приверженность ИИ как продукту, а не просто эксперименту. Если у вас есть доступ к GPT-4o в вашей учётной записи, она будет доступна как в мобильном приложении, так и онлайн.

Кроме того, среди некоторых пользователей начало распространяться приложение для Mac. Однако будьте осторожны со ссылками, так как мошенники используют этот выпуск для распространения вредоносного ПО на компьютеры. Самый безопасный подход — дождаться электронного письма или уведомления со ссылкой непосредственно от OpenAI.

Даже если у вас есть рабочая ссылка на приложение, доступ не будет предоставлен до тех пор, пока оно не будет авторизовано для вашей учётной записи OpenAI. При преждевременной попытке использования вы увидите сообщение об ошибке «У вас нет доступа».

Войдите в ChatGPT

Независимо от того, выбрали ли вы платную или бесплатную версию ChatGPT, первый шаг — войти в систему. Зайдите на сайт или загрузите приложение и привяжите его к своей учётной записи. Если у вас ещё нет учётной записи, просто зарегистрируйтесь.

Проверьте выбор модели

В верхней части экрана находится раскрывающееся меню со списком моделей. На сайте оно может уже показывать выбранную «GPT-4o», но также могут отображаться опции «GPT-4» или «GPT-3.5». Если «GPT-4o» не отображается, значит у вас ещё нет доступа к этой модели.

На мобильных устройствах, если у вас есть доступ, в середине панели навигации в верхней части экрана будет отображаться «ChatGPT 4o».

Начните общение

Если у вас есть доступ, начинайте общаться с GPT-4o так же, как с GPT-4. Однако имейте в виду, что действуют ограничения частоты запросов, которые значительно ниже на бесплатном тарифе. В результате вы сможете отправлять только определённое количество сообщений в день. Если вы достигнете этого лимита, вы можете продолжить разговор с GPT-4 или GPT-3.5.

Смените модель в чате

У вас также есть возможность переключить модель ИИ, которую вы используете во время сеанса чата. Например, если вы хотите регулировать количество сообщений, отправляемых с помощью GPT-4o, вы можете начать чат с GPT-3.5. Затем нажмите на значок искры в конце ответа.

Это действие открывает меню моделей, и, выбрав GPT-4o (что может потребоваться для решения более сложного математического запроса), следующий ответ будет сгенерирован с использованием GPT-4o.

Загрузите файлы

Если у вас есть доступ к GPT-4o и вы находитесь на бесплатном тарифе, теперь вы можете загружать файлы для анализа. Это могут быть изображения, видео или даже PDF-файлы. После этого вы можете задавать любые вопросы о содержимом GPT-4o.

Ограничения и риски GPT-4o

Регулирование генеративного ИИ всё ещё находится на начальной стадии, причём Закон ЕС об ИИ является основной правовой базой, действующей в настоящее время. Следовательно, компании, разрабатывающие ИИ, должны самостоятельно определять, что constitutes безопасный ИИ.

OpenAI использует систему готовности для оценки того, подходит ли новая модель для публичного выпуска. Эта система оценивает четыре ключевые области риска:

1. Кибербезопасность: оценка того, может ли ИИ повысить производительность киберпреступников или облегчить создание эксплойтов.
2. BCRN: проверка того, может ли ИИ помочь экспертам в разработке биологических, химических, радиологических или ядерных угроз.
3. Убеждение: оценка потенциала ИИ для создания убедительного (возможно, интерактивного) контента, который влияет на людей и заставляет их менять убеждения.
4. Автономия модели: исследование того, может ли ИИ функционировать как автономный агент, выполняя действия в сочетании с другим программным обеспечением.

Каждая область риска классифицируется как Низкая, Средняя, Высокая или Критическая, и общий балл модели соответствует наивысшей оценке среди четырёх категорий.

OpenAI обязуется не выпускать модель, которая представляет критическую угрозу. Однако этот порог безопасности относительно низок, поскольку критическая угроза определяется как нечто, способное серьёзно нарушить человеческую цивилизацию. GPT-4o легко избегает этого, получив оценку «Средняя» степень риска.

Несовершенный вывод

Как и все генеративные ИИ, модель может не всегда вести себя ожидаемым образом. Технология компьютерного зрения не безупречна, поэтому интерпретации изображений или видео не гарантированно точны.

Аналогично, расшифровка речи редко бывает на 100% точной, особенно если говорящий имеет сильный акцент или использует техническую терминологию.

OpenAI опубликовала видео с некоторыми неудачными дублями, где GPT-4o работал не так, как задумано. Заметные неудачи включали неудачный перевод между двумя неанглийскими языками, неподобающий тон голоса (например, покровительственный) и разговор на неправильном языке.

Ускоренный риск аудиодипфейков

В анонсе OpenAI признаётся, что «аудиомодальности GPT-4o вводят различные новые риски». Во многих отношениях GPT-4o может ускорить распространение дипфейковых мошеннических звонков, где ИИ имитирует знаменитостей, политиков и знакомых людей. Это проблема, которая, вероятно, усугубится до того, как будет эффективно решена, и GPT-4o обладает способностью значительно повысить убедительность таких звонков.

Для снижения этого риска аудиовыход ограничен выбором предустановленных голосов.

Можно предположить, что технически подкованные мошенники могут использовать GPT-4o для генерации текстового вывода, а затем применить собственную модель преобразования текста в речь. Однако остаётся неясным, сохранятся ли при этом преимущества в задержке и тоне голоса, которые обеспечивает GPT-4o.

Сколько стоит GPT-4o?

Несмотря на более высокую скорость по сравнению с GPT-4 Turbo и улучшенные возможности зрения, GPT-4o будет примерно на 50% дешевле своего предшественника. Как указано на сайте OpenAI, использование модели будет стоить $5 за миллион токенов на вводе и $15 за миллион токенов на выводе.

Заключение

GPT-4o представляет собой значительный прогресс в области генеративного ИИ, объединяя обработку текста, аудио и видео в одной эффективной модели. Это нововведение обещает более быстрые ответы, более захватывающее взаимодействие и более широкий спектр применений — от перевода в реальном времени до улучшенного анализа данных и повышенной доступности для слабовидящих людей.

novita.ai — единая платформа для безграничного творчества, предоставляющая доступ к 100+ API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео — недорогая оплата по мере использования, она избавляет от хлопот с обслуживанием GPU при создании собственных продуктов. Попробуйте бесплатно.

Рекомендуемая литература

В чём разница между LLM и GPT?

Раскрыты прогнозы LLM Leaderboard 2024

Novita AI LLM Inference Engine: максимальная пропускная способность и самый дешёвый инференс