OpenAI presentó su modelo de lenguaje más reciente, GPT-4o, el lunes, marcando el avance respecto a su predecesor, GPT-4 Turbo. Explora sus características, eficiencia y aplicaciones potenciales en las siguientes secciones.

¿Qué es GPT-4o de OpenAI?

GPT-4o representa el modelo de lenguaje más reciente de OpenAI. La ‘o’ en su nombre significa “omni”, derivado del latín “todo”, lo que indica su capacidad para procesar indicaciones que contienen una mezcla de texto, audio, imágenes y video. En el pasado, se empleaban modelos distintos para varios tipos de contenido dentro de la interfaz de ChatGPT.

Por ejemplo, en las interacciones por Voz con ChatGPT, el habla se transcribía a texto usando Whisper, se formulaba una respuesta textual con GPT-4 Turbo, y luego la respuesta se convertía nuevamente a voz mediante TTS.

Del mismo modo, integrar imágenes en las interacciones de ChatGPT requería una combinación de GPT-4 Turbo y DALL-E 3. Consolidar estas funciones en un solo modelo para diversos formatos de contenido ofrece el potencial de un procesamiento más rápido, mejor calidad de resultados, una interfaz simplificada y la exploración de nuevos casos de uso.

¿Qué hace diferente a GPT-4o de GPT-4 Turbo?

Al adoptar una estrategia de modelo todo en uno, GPT-4o supera varias limitaciones asociadas con las funcionalidades anteriores de interacción por voz.

1. Ahora se considera el tono de voz, facilitando respuestas emocionales

En el sistema anterior de OpenAI, que combinaba Whisper, GPT-4 Turbo y TTS en un proceso secuencial, el motor de razonamiento, GPT-4, solo tenía acceso a las palabras habladas transcritas. Este enfoque resultaba en la omisión de elementos críticos como el tono de voz, ruidos de fondo y distinciones entre múltiples hablantes. En consecuencia, GPT-4 Turbo tenía limitaciones para generar respuestas con diversas emociones o estilos de habla.

Sin embargo, con un modelo unificado capaz de procesar tanto texto como audio, esta valiosa información de audio ahora puede utilizarse para ofrecer respuestas de mayor calidad, con una gama más amplia de estilos de habla.

En el siguiente video proporcionado por OpenAI, GPT-4o muestra su capacidad para generar respuestas sarcásticas.

2. Menor latencia permite conversaciones en tiempo real

El anterior proceso de tres modelos resultaba en un pequeño retraso, o “latencia”, entre interactuar con ChatGPT y recibir una respuesta.

OpenAI reveló que la latencia promedio para el Modo Voz es de 2.8 segundos con GPT-3.5 y 5.4 segundos con GPT-4. En contraste, la latencia promedio para GPT-4o es de 0.32 segundos, siendo nueve veces más rápido que GPT-3.5 y 17 veces más rápido que GPT-4.

Esta latencia reducida se acerca al tiempo promedio de respuesta humana de 0.21 segundos y es particularmente crucial para escenarios conversacionales, donde se producen intercambios frecuentes entre humanos y la IA, y los retrasos entre respuestas se acumulan.

Esta funcionalidad evoca recuerdos del lanzamiento de Google Instant, su función de autocompletado de consultas de búsqueda, en 2010. Si bien buscar normalmente no lleva mucho tiempo, ahorrar unos segundos en cada uso mejora la experiencia general del producto.

Un caso de uso prometedor que la latencia reducida de GPT-4o hace más factible es la traducción de voz en tiempo real. OpenAI ilustró un escenario donde dos colegas, uno de habla inglesa y otro de habla hispana, se comunican con GPT-4o facilitando la traducción instantánea de su conversación.

https://youtu.be/WzUnEfiIqP4?si=dnnqaNxT4ncX7cfJ

3. Visión integrada permite descripciones de una transmisión de cámara

Junto con su integración de capacidades de voz y texto, GPT-4o también incorpora funciones para imágenes y videos. Esto implica que, cuando se le concede acceso a la pantalla de una computadora, puede proporcionar descripciones del contenido en pantalla, responder preguntas sobre imágenes mostradas, o incluso servir como un compañero de apoyo en tus tareas.

En un video publicado por OpenAI con Sal Khan de Khan Academy, GPT-4o ayuda con la tarea de matemáticas del hijo de Sal.

https://youtu.be/_nSmkyDNulk?si=sFvBOgk9hznhqf4f

Ampliando más allá de la interacción con pantalla, si le concedes a GPT-4o acceso a una cámara, como la de tu teléfono inteligente, puede proporcionar descripciones de su entorno visual.

En una demostración integral de OpenAI, todas estas capacidades se combinan. Dos teléfonos inteligentes equipados con GPT-4o mantienen una conversación. Un GPT tiene acceso a las cámaras del teléfono y describe sus observaciones visuales a otro GPT sin capacidades visuales.

El resultado es una conversación a tres bandas que involucra a un humano y dos IAs. El video también incluye un segmento donde las IAs cantan, una capacidad no alcanzable con modelos anteriores.

https://youtu.be/MirzFk_DSiI?si=Dv7HoVcNliXD3lJg

4. Mejor tokenización para alfabetos no romanos proporciona mayor velocidad y mejor relación calidad-precio

Un paso crucial en el flujo de trabajo de los modelos de lenguaje grandes (LLMs) implica convertir el texto de la indicación en tokens, que son unidades de texto que el modelo puede comprender.

En inglés, un token corresponde típicamente a una palabra o signo de puntuación, aunque algunas palabras pueden dividirse en múltiples tokens. En promedio, alrededor de tres palabras en inglés son representadas por aproximadamente cuatro tokens.

Reducir el número de tokens necesarios para representar el lenguaje en el modelo conduce a menos cálculos computacionales y una generación de texto más rápida.

Además, dado que OpenAI cobra a los usuarios de su API según la cantidad de tokens de entrada o salida, menos tokens se traducen en costos más bajos para los usuarios de la API.

GPT-4o presenta un modelo de tokenización mejorado que requiere menos tokens por texto. Esta mejora es particularmente notable en idiomas que no utilizan el alfabeto romano.

Por ejemplo, los idiomas indios, incluidos hindi, maratí, tamil, telugú y guyaratí, han experimentado reducciones de token de 2.9 a 4.4 veces. El árabe ha visto una reducción de token de 2 veces, mientras que los idiomas de Asia Oriental como chino, japonés, coreano y vietnamita han experimentado reducciones de token de 1.4 a 1.7 veces.

5. Implementación en el plan gratuito

La estructura de precios actual de OpenAI para ChatGPT requiere que los usuarios paguen para acceder al modelo de primer nivel: GPT-4 Turbo había estado disponible exclusivamente en los planes de pago Plus y Enterprise.

Sin embargo, esto está experimentando una transformación, ya que OpenAI se ha comprometido a ofrecer GPT-4o también en el plan gratuito. Los usuarios de Plus recibirán cinco veces la cuota de mensajes en comparación con los usuarios del plan gratuito.

El despliegue se realizará gradualmente, comenzando con los miembros del equipo rojo (evaluadores encargados de identificar vulnerabilidades del modelo) obteniendo acceso inmediato, seguido de un acceso más amplio para los usuarios que se irá implementando con el tiempo.

6. Lanzamiento de la aplicación de escritorio de ChatGPT

Aunque no está específicamente vinculado a GPT-4o, OpenAI también presentó la aplicación de escritorio de ChatGPT. Considerando las mejoras en latencia y multimodalidad discutidas anteriormente, junto con el lanzamiento de la aplicación, es evidente que la dinámica de interacción con ChatGPT está a punto de transformarse. Por ejemplo, OpenAI mostró una demostración de un flujo de trabajo de codificación aumentado utilizando voz y la aplicación de escritorio de ChatGPT. ¡Desplázate hacia abajo en la sección de casos de uso para ver este ejemplo en acción!

¿Cómo funciona GPT-4o?

Numerosos tipos de contenido, una sola red neuronal

Los detalles sobre el funcionamiento de GPT-4o siguen siendo limitados. La única información proporcionada por OpenAI en su anuncio es que GPT-4o es una red neuronal unificada entrenada en entradas de texto, visión y audio.

Este novedoso enfoque marca una desviación del método anterior de emplear modelos separados entrenados en tipos de datos distintos.

Sin embargo, GPT-4o no es el primer modelo en adoptar un enfoque multimodal. En 2022, TenCent Lab presentó SkillNet, un modelo que combina características de transformadores de LLM con técnicas de visión por computadora para mejorar el reconocimiento de caracteres chinos.

De manera similar, en 2023, un esfuerzo colaborativo de ETH Zurich, MIT y la Universidad de Stanford dio lugar a WhisBERT, una variante dentro de la serie BERT de modelos de lenguaje grandes. Aunque no es pionero, GPT-4o destaca por su notable ambición y potencia en comparación con estos esfuerzos anteriores.

¿Es GPT-4o un cambio radical respecto a GPT-4 Turbo?

El alcance de las modificaciones en la arquitectura de GPT-4o en comparación con GPT-4 Turbo parece estar sujeto a interpretación, dependiendo de si se consulta a los equipos de ingeniería o marketing de OpenAI. En abril, un bot llamado “im-also-a-good-gpt2-chatbot” apareció en Chatbot Arena de LMSYS, una tabla de clasificación que clasifica las principales IAs generativas. Esta IA enigmática ahora ha sido revelada como GPT-4o.

La inclusión de “gpt2” en el nombre es significativa. Distingue a GPT-4o de GPT-2, un predecesor tanto de GPT-3.5 como de GPT-4. El sufijo “2” fue ampliamente interpretado como una arquitectura completamente nueva dentro de la serie de modelos GPT.

Aparentemente, individuos dentro de los equipos de investigación o ingeniería de OpenAI perciben la amalgama de tipos de contenido de texto, visión y audio en un solo modelo como un cambio suficientemente significativo como para justificar el primer incremento de número de versión en seis años.

Por el contrario, el equipo de marketing ha optado por adoptar un enfoque relativamente comedido en cuanto a la denominación, continuando con la convención “GPT-4”.

Rendimiento de GPT-4o frente a otros modelos

OpenAI publicó cifras de referencia comparando GPT-4o con varios otros modelos de primer nivel:

1. GPT-4 Turbo
2. GPT-4 (lanzamiento inicial)
3. Claude 3 Opus
4. Gemini Pro 1.5
5. Gemini Ultra 1.0
6. Llama 3 400B

Entre estos, solo tres modelos tienen una relevancia significativa para la comparación: GPT-4 Turbo, Claude 3 Opus y Gemini Pro 1.5. Estos modelos han estado compitiendo por el primer puesto en la tabla de clasificación de Chatbot Arena de LMSYS en los últimos meses.

Si bien Llama 3 400B podría convertirse en un contendiente en el futuro, todavía está en desarrollo. Por lo tanto, los resultados de referencia presentados aquí se centran únicamente en estos tres modelos y GPT-4o.

Se utilizaron seis puntos de referencia para la evaluación:

1. Massive Multitask Language Understanding (MMLU): Cubre tareas que abarcan matemáticas elementales, historia de EE. UU., informática, derecho y más. Los modelos deben poseer un amplio conocimiento del mundo y habilidades de resolución de problemas para lograr una alta precisión en esta prueba.
2. Graduate-Level Google-Proof Q&A (GPQA): Presenta preguntas de opción múltiple elaboradas por expertos en biología, física y química. Las preguntas son de alta calidad y extrema dificultad, y los expertos con doctorados o en proceso de obtenerlos en los dominios correspondientes alcanzan un 74% de precisión.
3. MATH: Incluye problemas de matemáticas de secundaria y preparatoria.
4. HumanEval: Evalúa la corrección funcional del código computacional, utilizado para evaluar la generación de código.
5. Multilingual Grade School Math (MSGM): Consiste en problemas de matemáticas de escuela primaria traducidos a diez idiomas, incluidos idiomas subrepresentados como bengalí y swahili.
6. Discrete Reasoning Over Paragraphs (DROP): Se centra en preguntas que exigen comprensión de párrafos completos, involucrando tareas como suma, conteo o clasificación de valores distribuidos en múltiples oraciones.

Rendimiento de GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 y Claude 3 Opus frente a seis puntos de referencia de LLM. Las puntuaciones para cada punto de referencia van de 0 a 100. Recreado a partir de datos proporcionados por OpenAI. No se proporcionaron datos para Gemini Pro 1.5 para el punto de referencia GPQA.

GPT-4o supera a otros modelos en cuatro puntos de referencia, aunque es superado por Claude 3 Opus en el punto de referencia MSGM y por GPT-4 Turbo en el punto de referencia DROP. A pesar de estos resultados específicos, el rendimiento general de GPT-4o es impresionante, lo que indica potencial para el nuevo enfoque de entrenamiento multimodal.

Al examinar más de cerca las cifras de GPT-4o en comparación con GPT-4 Turbo, los aumentos de rendimiento son relativamente modestos, con solo unos pocos puntos porcentuales de diferencia. Si bien esto significa un progreso notable en un año, está lejos de los saltos de rendimiento dramáticos observados desde GPT-1 hasta GPT-2 o desde GPT-2 hasta GPT-3.

Se está volviendo evidente que lograr una mejora del 10% en el razonamiento textual anualmente puede convertirse en el nuevo estándar. Los desafíos más fáciles ya se han abordado, haciendo que los avances significativos en el razonamiento textual sean cada vez más difíciles.

Sin embargo, estos puntos de referencia de LLM no capturan completamente el rendimiento de la IA en problemas multimodales. El concepto de entrenamiento multimodal es relativamente nuevo y faltan métodos efectivos para medir la competencia de un modelo en texto, audio y visión.

En general, el rendimiento de GPT-4o es impresionante y demuestra el potencial del enfoque innovador del entrenamiento multimodal.

Casos de uso de GPT-4o

1. GPT-4o para análisis de datos y tareas de codificación

Los modelos GPT recientes y sus derivados, como GitHub Copilot, ya están equipados para ofrecer asistencia en código, incluyendo escritura de código, explicación de errores y corrección de errores. Las capacidades multimodales de GPT-4o presentan posibilidades intrigantes.

En un video promocional con la CTO de OpenAI, Mira Murati, dos investigadores de OpenAI, Mark Chen y Barret Zoph, demostraron el uso de GPT-4o para interactuar con código Python.

El código se presenta a GPT como texto, y se utiliza la función de interacción por voz para solicitar explicaciones a GPT sobre el código. Posteriormente, después de ejecutar el código, se aprovecha la capacidad de visión de GPT-4o para proporcionar explicaciones sobre el gráfico.

En general, el proceso de mostrar tu pantalla a ChatGPT y hacer una pregunta verbalmente presenta un flujo de trabajo potencialmente más simple en comparación con guardar un gráfico como archivo de imagen, subirlo a ChatGPT y luego escribir una pregunta.

2. GPT-4o para traducción en tiempo real

Prepárate para llevar a GPT-4o en tus vacaciones. Con sus capacidades de voz de baja latencia, GPT-4o permite la traducción en tiempo real, haciéndolo posible (¡asumiendo que tengas datos de roaming en tu plan de telefonía móvil!). Esto hace que viajar a países donde no hablas el idioma sea mucho más manejable.

3. Juego de roles con GPT-4o

ChatGPT ha demostrado ser un recurso valioso para escenarios de juego de roles, ya sea que estés simulando una entrevista de trabajo para tu carrera de datos soñada o entrenando a tu equipo de ventas para mejorar las ventas de productos.

Anteriormente, soportaba principalmente juegos de roles solo de texto, lo que puede no haber sido óptimo para ciertos casos de uso. Sin embargo, con capacidades de voz mejoradas, el juego de roles hablado ahora es una opción factible.

Sin embargo, si prefieres el juego de roles de texto tradicional, puedes elegir novita.ai LLM API:

4. GPT-4o para ayudar a usuarios con discapacidad visual

La capacidad de GPT-4o para interpretar la entrada de video de una cámara y narrar verbalmente la escena tiene un potencial significativo como característica crucial para personas con discapacidad visual. Esencialmente, refleja la función de descripción de audio que se encuentra en los televisores, pero se extiende a situaciones de la vida real.

Obtener acceso a GPT-4o en ChatGPT

La dirección de ChatGPT ha cambiado de chat.openai.com a chatgpt.com, lo que indica una dedicación sustancial a la IA como producto y no solo como un experimento. Si tienes acceso a GPT-4o en tu cuenta, estará accesible tanto en la aplicación móvil como en línea.

Además, una aplicación para Mac ha comenzado a distribuirse a ciertos usuarios. Sin embargo, se recomienda precaución con los enlaces, ya que los estafadores están aprovechando este lanzamiento para distribuir malware en las computadoras. El enfoque más seguro es esperar un correo electrónico o notificación que contenga un enlace directamente de OpenAI.

Incluso si posees un enlace funcional para la aplicación, no se otorgará acceso hasta que haya sido autorizado para tu cuenta de OpenAI. Recibirás un mensaje de error que dice “No tienes acceso” si intentas usarlo prematuramente.

Inicia sesión en ChatGPT

Independientemente de si optas por la versión paga o gratuita de ChatGPT, el primer paso es iniciar sesión. Visita el sitio web o descarga la aplicación y vincúlala a tu cuenta. Si aún no tienes una cuenta, simplemente regístrate.

Verifica tus opciones de modelo

Cerca de la parte superior de la pantalla, encontrarás un menú desplegable con una lista de modelos. En el sitio web, podría mostrar “GPT-4o” como seleccionado, pero también podría mostrar opciones como “GPT-4” o “GPT-3.5”. Si “GPT-4o” no aparece, significa que aún no tienes acceso al modelo.

En dispositivos móviles, si tienes acceso, verás “ChatGPT 4o” mostrado en el medio de la barra de navegación en la parte superior de la pantalla.

Empieza a chatear

Si tienes acceso, comienza a chatear con GPT-4o como lo harías con GPT-4. Sin embargo, ten en cuenta que se aplican límites de tasa, y estos son significativamente más bajos en el plan gratuito. Como resultado, solo podrás enviar un número predeterminado de mensajes por día. Si alcanzas este límite, puedes continuar la conversación con GPT-4 o GPT-3.5.

Cambia el modelo en un chat

También tienes la opción de cambiar el modelo de IA que estás utilizando durante una sesión de chat. Por ejemplo, si deseas regular la cantidad de mensajes que envías usando GPT-4o, podrías iniciar el chat con GPT-3.5. Luego, selecciona el icono de chispa ubicado al final de la respuesta.

Esta acción abre un menú de modelos, y al seleccionar GPT-4o, que podría ser necesario para abordar una consulta matemática más compleja, la siguiente respuesta se generará usando GPT-4o.

Sube archivos

Si tienes acceso a GPT-4o y estás en el plan gratuito, ahora puedes subir archivos para su análisis. Estos archivos podrían incluir imágenes, videos o incluso PDFs. Después, puedes hacer cualquier pregunta sobre el contenido a GPT-4o.

Limitaciones y riesgos de GPT-4o

La regulación para la IA generativa aún está en sus primeras etapas, siendo la Ley de IA de la UE el principal marco legal actualmente vigente. En consecuencia, las empresas que desarrollan IA deben tomar sus propias determinaciones sobre lo que constituye una IA segura.

OpenAI emplea un marco de preparación para evaluar si un nuevo modelo es adecuado para su lanzamiento al público. Este marco evalúa cuatro áreas clave de preocupación:

1. Ciberseguridad: Evaluar si la IA podría aumentar la productividad de los ciberdelincuentes o facilitar la creación de exploits.
2. BCRN: Examinar si la IA podría ayudar a expertos a idear amenazas biológicas, químicas, radiológicas o nucleares.
3. Persuasión: Evaluar el potencial de la IA para generar contenido persuasivo (potencialmente interactivo) que influya en las personas para que cambien sus creencias.
4. Autonomía del modelo: Investigar si la IA puede funcionar como un agente autónomo, ejecutando acciones en conjunto con otro software.

Cada área de preocupación se categoriza como Baja, Media, Alta o Crítica, y la puntuación general del modelo corresponde a la calificación más alta entre las cuatro categorías.

OpenAI se compromete a no lanzar un modelo que plantee una preocupación crítica. Sin embargo, este umbral de seguridad es relativamente bajo, ya que una preocupación crítica se define como algo capaz de interrumpir significativamente la civilización humana. GPT-4o evita cómodamente esto, obteniendo una calificación de preocupación Media.

Salida imperfecta

Como es común con todas las IAs generativas, el modelo puede no comportarse siempre como se espera. La tecnología de visión por computadora no es infalible, lo que significa que las interpretaciones de imágenes o videos no se garantiza que sean precisas.

Del mismo modo, las transcripciones de voz rara vez son 100% precisas, especialmente cuando el hablante tiene un acento fuerte o utiliza terminología técnica.

OpenAI publicó un video mostrando algunas escenas descartadas donde GPT-4o no funcionó como se esperaba. Los casos notables de falla incluyeron una traducción fallida entre dos idiomas no ingleses, un tono de voz inapropiado (como sonar condescendiente) y hablar en el idioma equivocado.

Riesgo acelerado de deepfakes de audio

El anuncio de OpenAI reconoce que “las modalidades de audio de GPT-4o introducen varios riesgos nuevos”. En muchos aspectos, GPT-4o tiene el potencial de acelerar la proliferación de llamadas fraudulentas de deepfake, donde la IA se hace pasar por celebridades, políticos y conocidos de las personas. Este es un desafío que probablemente empeorará antes de ser abordado de manera efectiva, y GPT-4o posee la capacidad de mejorar significativamente la capacidad de persuasión de las llamadas fraudulentas de deepfake.

Para abordar este riesgo, la salida de audio se limita a una selección de voces predefinidas.

Es concebible que los estafadores con conocimientos técnicos podrían utilizar GPT-4o para generar salida de texto y luego emplear su propio modelo de texto a voz. Sin embargo, no está claro si este enfoque aún conservaría las ventajas en términos de latencia y tono de voz que proporciona GPT-4o.

¿Cuánto cuesta GPT-4o?

A pesar de su velocidad superior en comparación con GPT-4 Turbo y sus capacidades de visión mejoradas, GPT-4o será aproximadamente un 50% más económico que su predecesor. Según se indica en el sitio web de OpenAI, utilizar el modelo costará $5 por millón de tokens para entrada y $15 por millón de tokens para salida.

Conclusión

GPT-4o representa un avance significativo en la IA generativa, integrando el procesamiento de texto, audio y visual en un único modelo eficiente. Esta innovación promete respuestas más rápidas, interacciones más inmersivas y un espectro más amplio de aplicaciones, que van desde la traducción en tiempo real hasta un análisis de datos mejorado y una accesibilidad mejorada para personas con discapacidad visual.

novita.ai, la plataforma integral para la creatividad sin límites que te da acceso a más de 100 APIs. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, con un modelo de pago por uso económico, te libera de las molestias del mantenimiento de GPU mientras construyes tus propios productos. Pruébalo gratis.

Lectura recomendada

¿Cuál es la diferencia entre LLM y GPT?

Predicciones reveladas del LLM Leaderboard 2024

Novita AI LLM Inference Engine: el mayor rendimiento y la inferencia más barata disponibles