A OpenAI revelou seu mais recente modelo de linguagem grande, o GPT-4o, na segunda-feira, marcando o avanço em relação ao seu predecessor, GPT-4 Turbo. Explore suas características, eficiência e aplicações potenciais nas seções a seguir.

O que é o GPT-4o da OpenAI?

O GPT-4o representa o mais recente modelo de linguagem grande da OpenAI. O ‘o’ em seu nome significa “omni”, derivado do latim para “tudo”, indicando sua capacidade de processar prompts contendo uma mistura de texto, áudio, imagens e vídeo. No passado, modelos distintos eram empregados para vários tipos de conteúdo na interface do ChatGPT.

Por exemplo, nas interações por Modo de Voz com o ChatGPT, a fala era transcrita para texto usando Whisper, uma resposta de texto era formulada usando GPT-4 Turbo e, em seguida, o texto da resposta era convertido de volta para fala usando TTS.

Da mesma forma, integrar imagens nas interações do ChatGPT exigia uma combinação de GPT-4 Turbo e DALL-E 3. Consolidar essas funções em um único modelo para diversos formatos de conteúdo oferece o potencial de processamento mais rápido, melhor qualidade dos resultados, uma interface simplificada e a exploração de novos casos de uso.

O que torna o GPT-4o diferente do GPT-4 Turbo?

Ao adotar uma estratégia de modelo all-in-one, o GPT-4o supera várias limitações associadas às funcionalidades anteriores de interação por voz.

1. O tom de voz agora é considerado, facilitando respostas emocionais

No sistema anterior da OpenAI, que envolvia a combinação de Whisper, GPT-4 Turbo e TTS em um processo sequencial, o mecanismo de raciocínio, GPT-4, tinha acesso apenas às palavras faladas transcritas. Essa abordagem resultava na omissão de elementos críticos como tom de voz, ruídos de fundo e distinções entre vários falantes. Consequentemente, o GPT-4 Turbo era limitado em sua capacidade de gerar respostas com emoções ou estilos de fala diversos.

No entanto, com um modelo unificado capaz de processar texto e áudio, essas informações de áudio valiosas agora podem ser utilizadas para fornecer respostas de maior qualidade, apresentando uma gama mais ampla de estilos de fala.

No vídeo a seguir, fornecido pela OpenAI, o GPT-4o demonstra sua capacidade de gerar respostas sarcásticas.

2. Menor latência permite conversas em tempo real

O pipeline anterior de três modelos resultava em um pequeno atraso, ou “latência”, entre interagir com o ChatGPT e receber uma resposta.

A OpenAI revelou que a latência média do Modo de Voz é de 2,8 segundos com GPT-3.5 e 5,4 segundos com GPT-4. Em contraste, a latência média do GPT-4o é de 0,32 segundos, tornando-o nove vezes mais rápido que o GPT-3.5 e 17 vezes mais rápido que o GPT-4.

Essa latência reduzida se aproxima do tempo médio de resposta humana de 0,21 segundos e é particularmente crucial para cenários conversacionais, onde ocorrem trocas frequentes entre humanos e IA, e os atrasos entre as respostas se acumulam.

Essa funcionalidade evoca memórias do lançamento do Google Instant, seu recurso de preenchimento automático de consultas de pesquisa, em 2010. Embora a pesquisa normalmente não leve muito tempo, economizar alguns segundos a cada uso melhora a experiência geral do produto.

Um caso de uso promissor tornado mais viável pela latência reduzida do GPT-4o é a tradução de fala em tempo real. A OpenAI ilustrou um cenário onde dois colegas, um falante de inglês e outro de espanhol, se comunicam com o GPT-4o facilitando a tradução instantânea de sua conversa.

https://youtu.be/WzUnEfiIqP4?si=dnnqaNxT4ncX7cfJ

3. Visão integrada permite descrições de um feed de câmera

Juntamente com sua integração de capacidades de voz e texto, o GPT-4o também incorpora recursos para imagens e vídeos. Isso implica que, quando recebe acesso a uma tela de computador, ele pode fornecer descrições do conteúdo na tela, responder a perguntas sobre imagens exibidas ou até mesmo servir como um companheiro de apoio em suas tarefas.

Em um vídeo divulgado pela OpenAI com Sal Khan, da Khan Academy, o GPT-4o auxilia com a lição de matemática do filho de Sal.

https://youtu.be/_nSmkyDNulk?si=sFvBOgk9hznhqf4f

Expandindo além da interação com a tela, se você conceder ao GPT-4o acesso a uma câmera, como a do seu smartphone, ele pode fornecer descrições de seu entorno visual.

Em uma demonstração abrangente da OpenAI, todas essas capacidades são combinadas. Dois smartphones equipados com GPT-4o se envolvem em uma conversa. Um GPT tem acesso às câmeras do smartphone e descreve suas observações visuais a outro GPT sem capacidades visuais.

O resultado é uma conversa a três envolvendo um humano e duas IAs. O vídeo também inclui um segmento onde as IAs cantam, uma capacidade não alcançável com modelos anteriores.

https://youtu.be/MirzFk_DSiI?si=Dv7HoVcNliXD3lJg

4. Melhor tokenização para alfabetos não romanos proporciona maior velocidade e custo-benefício

Uma etapa crucial no fluxo de trabalho dos modelos de linguagem grandes (LLMs) envolve converter o texto do prompt em tokens, que são unidades de texto que o modelo pode compreender.

Em inglês, um token geralmente corresponde a uma única palavra ou sinal de pontuação, embora algumas palavras possam ser divididas em vários tokens. Em média, cerca de três palavras em inglês são representadas por aproximadamente quatro tokens.

Reduzir o número de tokens necessários para representar a linguagem no modelo leva a menos cálculos computacionais e geração de texto mais rápida.

Além disso, como a OpenAI cobra dos usuários da API com base no número de tokens de entrada ou saída, menos tokens se traduzem em custos mais baixos para os usuários da API.

O GPT-4o possui um modelo de tokenização aprimorado que necessita de menos tokens por texto. Essa melhoria é particularmente notável em idiomas que não utilizam o alfabeto romano.

Por exemplo, idiomas indianos, incluindo hindi, marata, tâmil, télugo e gujarati, tiveram reduções de tokens que variam de 2,9 a 4,4 vezes. O árabe teve uma redução de tokens de 2 vezes, enquanto idiomas do leste asiático como chinês, japonês, coreano e vietnamita tiveram reduções de tokens que variam de 1,4 a 1,7 vezes.

5. Disponibilização para o plano gratuito

A estrutura de preços atual da OpenAI para o ChatGPT exige que os usuários paguem pelo acesso ao modelo de primeira linha: o GPT-4 Turbo esteve disponível exclusivamente nos planos pagos Plus e Enterprise.

No entanto, isso está passando por uma transformação, pois a OpenAI se comprometeu a oferecer o GPT-4o também no plano gratuito. Os usuários Plus receberão cinco vezes a cota de mensagens em comparação com os usuários do plano gratuito.

A implantação ocorrerá gradualmente, começando com os membros da equipe de red team (testadores encarregados de identificar vulnerabilidades do modelo) obtendo acesso imediato, seguido por um acesso mais amplo aos usuários sendo implementado ao longo do tempo.

6. Lançamento do aplicativo ChatGPT para desktop

Embora não esteja especificamente vinculado ao GPT-4o, a OpenAI também apresentou o aplicativo ChatGPT para desktop. Considerando as melhorias na latência e multimodalidade discutidas anteriormente, juntamente com o lançamento do aplicativo, é evidente que a dinâmica de interação com o ChatGPT está prestes a passar por uma transformação. Por exemplo, a OpenAI mostrou uma demonstração de um fluxo de trabalho de codificação aumentado usando voz e o aplicativo ChatGPT para desktop. Role para baixo na seção de casos de uso para ver este exemplo em ação!

Como funciona o GPT-4o?

Múltiplos tipos de conteúdo, uma única rede neural

Os detalhes sobre o funcionamento do GPT-4o permanecem limitados. A única percepção fornecida pela OpenAI em seu anúncio é que o GPT-4o é uma rede neural unificada treinada em entradas de texto, visão e áudio.

Essa nova abordagem marca um afastamento do método anterior de empregar modelos separados treinados em tipos distintos de dados.

No entanto, o GPT-4o não é o primeiro modelo a adotar uma abordagem multimodal. Em 2022, o TenCent Lab apresentou o SkillNet, um modelo que mescla recursos de transformadores LLM com técnicas de visão computacional para melhorar o reconhecimento de caracteres chineses.

Da mesma forma, em 2023, um esforço colaborativo do ETH Zurique, MIT e Universidade de Stanford resultou no WhisBERT, uma variante da série BERT de modelos de linguagem grandes. Embora não seja pioneiro, o GPT-4o se destaca por sua notável ambição e potência em comparação com esses esforços anteriores.

O GPT-4o é uma mudança radical em relação ao GPT-4 Turbo?

A extensão das modificações na arquitetura do GPT-4o em comparação com o GPT-4 Turbo parece estar sujeita a interpretação, dependendo se você consulta as equipes de engenharia ou marketing da OpenAI. Em abril, um bot chamado “im-also-a-good-gpt2-chatbot” surgiu no Chatbot Arena do LMSYS, um ranking das principais IAs generativas. Essa IA enigmática agora foi revelada como GPT-4o.

A inclusão de “gpt2” no nome é significativa. Ele distingue o GPT-4o do GPT-2, um predecessor tanto do GPT-3.5 quanto do GPT-4. O sufixo “2” foi amplamente interpretado como significando uma arquitetura totalmente nova na série de modelos GPT.

Aparentemente, indivíduos dentro das equipes de pesquisa ou engenharia da OpenAI percebem a amalgamação de tipos de conteúdo de texto, visão e áudio em um único modelo como uma mudança suficientemente significativa para justificar o primeiro incremento no número de versão em seis anos.

Por outro lado, a equipe de marketing optou por adotar uma abordagem relativamente contida na nomenclatura, continuando a convenção “GPT-4”.

Desempenho do GPT-4o vs. Outros Modelos

A OpenAI divulgou números de benchmark comparando o GPT-4o com vários outros modelos de primeira linha:

1. GPT-4 Turbo
2. GPT-4 (lançamento inicial)
3. Claude 3 Opus
4. Gemini Pro 1.5
5. Gemini Ultra 1.0
6. Llama 3 400B

Entre estes, apenas três modelos têm relevância significativa para comparação: GPT-4 Turbo, Claude 3 Opus e Gemini Pro 1.5. Esses modelos têm disputado o primeiro lugar no ranking Chatbot Arena do LMSYS nos últimos meses.

Embora o Llama 3 400B possa se tornar um concorrente no futuro, ainda está em desenvolvimento. Portanto, os resultados de benchmark apresentados aqui focam apenas nesses três modelos e no GPT-4o.

Seis benchmarks foram utilizados para avaliação:

1. Massive Multitask Language Understanding (MMLU): Abrange tarefas que vão desde matemática elementar, história dos EUA, ciência da computação, direito e muito mais. Os modelos devem possuir amplo conhecimento mundial e habilidades de resolução de problemas para alcançar alta precisão neste teste.
2. Graduate-Level Google-Proof Q&A (GPQA): Apresenta questões de múltipla escolha elaboradas por especialistas em biologia, física e química. As questões são de alta qualidade e extrema dificuldade, com especialistas que possuem ou estão cursando doutorado nos domínios correspondentes alcançando 74% de precisão.
3. MATH: Inclui problemas de matemática do ensino fundamental e médio.
4. HumanEval: Avalia a correção funcional de código de computador, usado para avaliar a geração de código.
5. Multilingual Grade School Math (MSGM): Consiste em problemas de matemática do ensino fundamental traduzidos para dez idiomas, incluindo idiomas sub-representados como bengali e suaíli.
6. Discrete Reasoning Over Paragraphs (DROP): Foca em questões que exigem compreensão de parágrafos completos, envolvendo tarefas como adição, contagem ou ordenação de valores espalhados por várias frases.

Desempenho do GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 e Claude 3 Opus em seis benchmarks de LLM. As pontuações para cada benchmark variam de 0 a 100. Recriado a partir de dados fornecidos pela OpenAI. Nenhum dado foi fornecido para o Gemini Pro 1.5 no benchmark GPQA.

O GPT-4o supera outros modelos em quatro benchmarks, embora seja superado pelo Claude 3 Opus no benchmark MSGM e pelo GPT-4 Turbo no benchmark DROP. Apesar desses resultados específicos, o desempenho geral do GPT-4o é impressionante, indicando potencial para a nova abordagem de treinamento multimodal.

Ao examinar mais de perto os números do GPT-4o em comparação com o GPT-4 Turbo, os aumentos de desempenho são relativamente modestos, com apenas alguns pontos percentuais de diferença. Embora isso signifique um progresso notável dentro de um ano, fica aquém dos saltos dramáticos de desempenho observados do GPT-1 para o GPT-2 ou do GPT-2 para o GPT-3.

Está se tornando evidente que alcançar uma melhoria de 10% no raciocínio textual anualmente pode se tornar o novo padrão. Os desafios mais fáceis já foram enfrentados, tornando os avanços significativos no raciocínio textual cada vez mais desafiadores.

No entanto, esses benchmarks de LLM não capturam totalmente o desempenho da IA em problemas multimodais. O conceito de treinamento multimodal ainda é relativamente novo e faltam métodos eficazes para medir a proficiência de um modelo em texto, áudio e visão.

No geral, o desempenho do GPT-4o é impressionante e demonstra potencial para a abordagem inovadora do treinamento multimodal.

Casos de Uso do GPT-4o

1. GPT-4o para análise de dados e tarefas de codificação

Modelos GPT recentes e seus derivados, como o GitHub Copilot, já estão equipados para oferecer assistência de código, incluindo escrita de código, explicação de erros e correção de erros. As capacidades multimodais do GPT-4o apresentam possibilidades intrigantes.

Em um vídeo promocional com a CTO da OpenAI, Mira Murati, dois pesquisadores da OpenAI, Mark Chen e Barret Zoph, demonstraram o uso do GPT-4o para interagir com código Python.

O código é apresentado ao GPT como texto, e o recurso de interação por voz é utilizado para solicitar explicações do GPT sobre o código. Posteriormente, após executar o código, a capacidade de visão do GPT-4o é aproveitada para fornecer explicações sobre o gráfico.

No geral, o processo de mostrar a tela ao ChatGPT e fazer uma pergunta verbalmente apresenta um fluxo de trabalho potencialmente mais simples em comparação com salvar um gráfico como arquivo de imagem, enviá-lo ao ChatGPT e depois digitar uma pergunta.

2. GPT-4o para tradução em tempo real

Prepare-se para levar o GPT-4o em suas férias. Com suas capacidades de fala de baixa latência, o GPT-4o permite tradução em tempo real, tornando isso possível (supondo que você tenha dados de roaming no seu plano de celular!). Isso torna as viagens em países onde você não fala o idioma muito mais gerenciáveis.

3. Roleplay com GPT-4o

O ChatGPT provou ser um recurso valioso para cenários de roleplay, seja simulando uma entrevista de emprego para sua carreira de dados dos sonhos ou treinando sua equipe de vendas para melhorar as vendas de produtos.

Anteriormente, ele suportava principalmente roleplays baseados apenas em texto, o que pode não ser ideal para alguns casos de uso. No entanto, com capacidades de fala aprimoradas, o roleplay falado agora é uma opção viável.

No entanto, se você preferir o roleplay tradicional de texto, pode escolher a novita.ai LLM API:

4. GPT-4o para auxiliar usuários com deficiência visual

A capacidade do GPT-4o de interpretar entrada de vídeo de uma câmera e narrar verbalmente a cena tem um potencial significativo como um recurso crucial para indivíduos com deficiência visual. Essencialmente, ele espelha a funcionalidade de descrição de áudio encontrada em televisores, mas se estende a situações da vida real.

Obtendo acesso ao GPT-4o no ChatGPT

O endereço do ChatGPT mudou de chat.openai.com para chatgpt.com, indicando uma dedicação substancial à IA como um produto, em vez de meramente um experimento. Se você tiver acesso ao GPT-4o em sua conta, ele estará acessível tanto no aplicativo móvel quanto online.

Além disso, um aplicativo Mac começou a ser distribuído para alguns usuários. No entanto, recomenda-se cautela com relação a links, pois golpistas estão explorando este lançamento para distribuir malware em computadores. A abordagem mais segura é aguardar um e-mail ou notificação contendo um link diretamente da OpenAI.

Mesmo que você possua um link funcional para o aplicativo, o acesso não será concedido até que tenha sido autorizado para sua conta OpenAI. Você encontrará uma mensagem de erro dizendo “You don’t have access” (Você não tem acesso) se tentar usá-lo prematuramente.

Faça login no ChatGPT

Independentemente de você optar pela versão paga ou gratuita do ChatGPT, o primeiro passo é fazer login. Visite o site ou baixe o aplicativo e vincule-o à sua conta. Se você ainda não tem uma conta, basta se cadastrar.

Verifique suas opções de modelo

Perto do topo da tela, você encontrará um menu suspenso contendo uma lista de modelos. No site, ele pode já exibir “GPT-4o” como selecionado, mas também pode mostrar opções como “GPT-4” ou “GPT-3.5”. Se “GPT-4o” não aparecer, significa que você ainda não tem acesso ao modelo.

Em dispositivos móveis, se você tiver acesso, verá “ChatGPT 4o” exibido no meio da barra de navegação no topo da tela.

Comece a conversar

Se você tiver acesso, comece a conversar com o GPT-4o da mesma forma que faria com o GPT-4. No entanto, esteja ciente de que os limites de taxa são aplicados, e são significativamente mais baixos no plano gratuito. Como resultado, você só poderá enviar um número predeterminado de mensagens por dia. Se atingir esse limite, você pode continuar a conversa com GPT-4 ou GPT-3.5.

Altere o modelo em uma conversa

Você também tem a opção de alternar o modelo de IA que está utilizando durante uma sessão de bate-papo. Por exemplo, se desejar regular o número de mensagens que envia usando GPT-4o, você pode iniciar o bate-papo com GPT-3.5. Em seguida, selecione o ícone de brilho localizado no final da resposta.

Isso abre um menu de modelos e, ao selecionar GPT-4o, que pode ser necessário para lidar com uma consulta matemática mais complexa, a resposta subsequente será gerada usando GPT-4o.

Envie arquivos

Se você tiver acesso ao GPT-4o e estiver no plano gratuito, agora pode enviar arquivos para análise. Esses arquivos podem incluir imagens, vídeos ou até mesmo PDFs. Depois, você pode fazer qualquer pergunta sobre o conteúdo ao GPT-4o.

Limitações e Riscos do GPT-4o

A regulamentação para IA generativa ainda está em estágios iniciais, com o EU AI Act representando o principal arcabouço legal atualmente em vigor. Consequentemente, as empresas que desenvolvem IA devem fazer suas próprias determinações sobre o que constitui uma IA segura.

A OpenAI emprega um framework de preparação para avaliar se um novo modelo é adequado para lançamento ao público. Este framework avalia quatro áreas-chave de preocupação:

1. Segurança cibernética: Avaliar se a IA poderia aumentar a produtividade dos criminosos cibernéticos ou facilitar a criação de exploits.
2. BCRN: Examinar se a IA poderia ajudar especialistas a conceber ameaças biológicas, químicas, radiológicas ou nucleares.
3. Persuasão: Avaliar o potencial da IA para gerar conteúdo persuasivo (potencialmente interativo) que influencie indivíduos a alterar suas crenças.
4. Autonomia do modelo: Investigar se a IA pode funcionar como um agente autônomo, executando ações em conjunto com outro software.

Cada área de preocupação é categorizada como Baixa, Média, Alta ou Crítica, e a pontuação geral do modelo corresponde à nota mais alta entre as quatro categorias.

A OpenAI se compromete a não lançar um modelo que represente uma preocupação crítica. No entanto, esse limite de segurança é relativamente baixo, pois uma preocupação crítica é definida como algo capaz de perturbar significativamente a civilização humana. O GPT-4o evita isso confortavelmente, recebendo uma classificação de preocupação Média.

Saída imperfeita

Como é comum em todas as IAs generativas, o modelo pode nem sempre se comportar conforme o esperado. A tecnologia de visão computacional não é perfeita, o que significa que as interpretações de imagens ou vídeos não são garantidas como precisas.

Da mesma forma, as transcrições de fala raramente são 100% precisas, especialmente quando o falante tem um sotaque forte ou usa terminologia técnica.

A OpenAI divulgou um vídeo mostrando alguns erros de gravação onde o GPT-4o não funcionou como pretendido. Exemplos notáveis de falha incluíram tradução malsucedida entre dois idiomas não ingleses, tom de voz inadequado (como soar condescendente) e falar no idioma errado.

Risco acelerado de deepfakes de áudio

O anúncio da OpenAI reconhece que “as modalidades de áudio do GPT-4o introduzem vários novos riscos”. Em muitos aspectos, o GPT-4o tem o potencial de acelerar a proliferação de chamadas fraudulentas com deepfake, onde a IA se passa por celebridades, políticos e conhecidos de indivíduos. Este é um desafio que provavelmente piorará antes de ser efetivamente abordado, e o GPT-4o possui a capacidade de aumentar significativamente a persuasão das chamadas fraudulentas com deepfake.

Para mitigar esse risco, a saída de áudio é restrita a uma seleção de vozes predefinidas.

É concebível que golpistas tecnicamente proficientes possam utilizar o GPT-4o para gerar saída de texto e depois empregar seu próprio modelo de texto-para-fala. No entanto, permanece incerto se essa abordagem ainda reteria as vantagens em termos de latência e tom de voz que o GPT-4o proporciona.

Quanto Custa o GPT-4o?

Apesar de ser superior em velocidade ao GPT-4 Turbo e ter capacidades de visão aprimoradas, o GPT-4o será aproximadamente 50% mais barato que seu predecessor. Conforme declarado no site da OpenAI, utilizar o modelo custará $5 por milhão de tokens para entrada e $15 por milhão de tokens para saída.

Conclusão

O GPT-4o representa um avanço significativo na IA generativa, integrando processamento de texto, áudio e visual em um único modelo eficiente. Esta inovação promete respostas mais rápidas, interações mais imersivas e um espectro mais amplo de aplicações, desde tradução em tempo real até análise de dados aprimorada e acessibilidade melhorada para pessoas com deficiência visual.

novita.ai, a plataforma única para criatividade ilimitada que oferece acesso a mais de 100 APIs. Desde geração de imagens e processamento de linguagem até aprimoramento de áudio e manipulação de vídeo, com preço acessível conforme o uso, ela libera você das dores de cabeça com manutenção de GPU enquanto constrói seus próprios produtos. Experimente gratuitamente.

Leitura recomendada

Qual é a diferença entre LLM e GPT

Previsões do LLM Leaderboard 2024 Reveladas

Novita AI LLM Inference Engine: maior throughput e inferência mais barata disponível