OpenAIは月曜日、最新の大規模言語モデルGPT-4oを発表し、前世代のGPT-4 Turboからの進歩を示しました。以下のセクションで、その特徴、効率性、および潜在的な応用について探ります。

OpenAIのGPT-4oとは？

GPT-4oは、OpenAIの最新の大規模言語モデルです。その名称の「o」はラテン語の「omni」（すべて）に由来し、テキスト、音声、画像、動画を組み合わせたプロンプトを処理できる能力を示しています。以前は、ChatGPTインターフェース内で異なるコンテンツタイプに対して別々のモデルが使用されていました。

例えば、ChatGPTとのボイスモードでの対話では、音声はWhisperを使用してテキストに変換され、GPT-4 Turboを使用してテキスト応答が生成され、その応答テキストはTTSを使用して音声に戻されていました。

同様に、ChatGPTとの対話に画像を統合するには、GPT-4 TurboとDALL-E 3の組み合わせが必要でした。これらの機能を単一のモデルに統合することで、処理速度の向上、結果の品質向上、インターフェースの合理化、そして新しいユースケースの開拓が期待できます。

GPT-4oとGPT-4 Turboの違いは？

オールインワンモデル戦略を採用することで、GPT-4oは以前の音声対話機能に関連するさまざまな制約を克服しています。

1. 声のトーンが考慮され、感情的な応答が可能に

以前のOpenAIシステム（Whisper、GPT-4 Turbo、TTSを順次組み合わせたもの）では、推論エンジンであるGPT-4は書き起こされた話し言葉しか利用できませんでした。そのため、声のトーン、背景ノイズ、複数の話者の区別などの重要な要素が欠落していました。結果として、GPT-4 Turboは多様な感情や話し方のスタイルを持つ応答を生成する能力が限られていました。

しかし、テキストと音声の両方を処理できる統一モデルにより、この貴重な音声情報を活用して、より幅広い話し方のスタイルを持つ高品質な応答を提供できるようになりました。

以下のOpenAIが提供するvideoでは、GPT-4oが皮肉な出力を生成する能力を示しています。

2. 低レイテンシによりリアルタイムな会話が可能に

以前の3モデルパイプラインでは、ChatGPTとの対話から応答を受け取るまでにわずかな遅延（レイテンシ）が発生していました。

OpenAIによると、ボイスモードの平均レイテンシはGPT-3.5で2.8秒、GPT-4で5.4秒でした。対照的に、GPT-4oの平均レイテンシは0.32秒で、GPT-3.5の9倍、GPT-4の17倍高速です。

この低レイテンシは人間の平均応答時間（0.21秒）に近づき、人間とAIの間で頻繁なやり取りが行われ、応答間の遅延が蓄積される会話シナリオで特に重要です。

この機能は、2010年にGoogleが検索クエリのオートコンプリート機能であるInstantを発表したことを思い起こさせます。検索自体にそれほど時間はかかりませんが、使用するたびに数秒を節約することで製品エクスペリエンス全体が向上します。

GPT-4oの低レイテンシによって実現可能性が高まった有望なユースケースの1つが、リアルタイム音声翻訳です。OpenAIは、英語を話す同僚とスペイン語を話す同僚が、GPT-4oが会話を即座に翻訳しながらコミュニケーションをとるシナリオを示しました。

https://youtu.be/WzUnEfiIqP4?si=dnnqaNxT4ncX7cfJ

3. 統合されたビジョンによりカメラ映像の説明が可能に

音声とテキストの機能に加えて、GPT-4oは画像と動画の機能も統合しています。つまり、コンピュータ画面へのアクセスが許可されると、画面上のコンテンツの説明、表示されている画像に関する質問への回答、あるいはタスクにおけるサポートコンパニオンとしての役割を提供できます。

OpenAIがKhan AcademyのSal Khanをフィーチャーした動画では、GPT-4oがSalの息子の数学の宿題を手伝っています。

https://youtu.be/_nSmkyDNulk?si=sFvBOgk9hznhqf4f

画面とのインタラクションを超えて、スマートフォンのカメラなどへのアクセスを許可すると、視覚的な周囲の状況を説明できます。

OpenAIによる包括的なデモンストレーションでは、これらの機能がすべて組み合わされています。GPT-4oを搭載した2台のスマートフォンが会話を行います。一方のGPTはスマートフォンのカメラにアクセスでき、視覚的な観察内容を、視覚機能を持たないもう一方のGPTに説明します。

その結果、人間と2つのAIによる三者間会話が実現します。この動画には、AIが歌うセグメントも含まれており、これは以前のモデルでは達成できなかった能力です。

https://youtu.be/MirzFk_DSiI?si=Dv7HoVcNliXD3lJg

4. 非ローマ字アルファベットのトークン化改善により、速度と費用対効果が向上

大規模言語モデル（LLM）のワークフローにおける重要なステップは、プロンプトテキストをモデルが理解できる単位であるトークンに変換することです。

英語では、通常1トークンが1語または句読点に相当しますが、一部の単語は複数のトークンに分割される場合があります。平均して、約3語の英語が約4トークンで表されます。

モデル内で言語を表現するために必要なトークン数を削減すると、計算量が減り、テキスト生成が高速化します。

さらに、OpenAIはAPIユーザーに対して入力または出力されたトークン数に基づいて課金するため、トークン数が少ないほどAPIユーザーのコストが削減されます。

GPT-4oは、テキストあたりのトークン数を削減する改良されたトークン化モデルを備えています。この改善は、ローマ字アルファベットを使用しない言語で特に顕著です。

例えば、ヒンディー語、マラーティー語、タミル語、テルグ語、グジャラート語などのインド言語では、トークン数が2.9倍から4.4倍削減されました。アラビア語では2倍、中国語、日本語、韓国語、ベトナム語などの東アジア言語では1.4倍から1.7倍の削減が見られました。

5. 無料プランへの展開

OpenAIの現在のChatGPTの価格体系では、ユーザーは最上位モデルにアクセスするために料金を支払う必要があります。GPT-4 TurboはこれまでPlusおよびEnterpriseの有料プランでのみ利用可能でした。

しかし、これは変わりつつあり、OpenAIは無料プランでもGPT-4oを提供することを約束しました。Plusユーザーは無料プランユーザーの5倍のメッセージ枠を受け取ります。

展開は段階的に行われ、レッドチームメンバー（モデルの脆弱性を特定するテスター）が即座にアクセスでき、その後、一般ユーザーへのアクセスが時間をかけて段階的に展開されます。

6. ChatGPTデスクトップアプリのローンチ

GPT-4oに直接関係するわけではありませんが、OpenAIはChatGPTデスクトップアプリケーションも発表しました。前述のレイテンシとマルチモーダルの改善、およびアプリのローンチを考慮すると、ChatGPTとのインタラクションのダイナミクスが変革されようとしていることは明らかです。例えばOpenAIは、音声とChatGPTデスクトップアプリを活用した拡張コーディングワークフローのデモを示しました。ユースケースのセクションをスクロールダウンして、実際の例をご覧ください！

GPT-4oの仕組み

多数のコンテンツタイプ、単一のニューラルネットワーク

GPT-4oの動作に関する詳細は限られています。OpenAIが発表で提供した唯一の洞察は、GPT-4oがテキスト、ビジョン、音声入力でトレーニングされた統一ニューラルネットワークであるということです。

この新しいアプローチは、異なるデータタイプでトレーニングされた別々のモデルを使用する以前の方法からの脱却を示しています。

ただし、GPT-4oはマルチモーダルアプローチを採用した最初のモデルではありません。2022年、TenCent LabはLLMトランスフォーマーの機能とコンピュータビジョン技術を統合して中国語の文字認識を強化するSkillNetを導入しました。

同様に、2023年にはETH Zurich、MIT、Stanford Universityの協力により、BERTシリーズの大規模言語モデルの一種であるWhisBERTが誕生しました。先駆的ではありませんが、GPT-4oはこれらの初期の取り組みと比較して、その驚くべき野心とパワーで際立っています。

GPT-4oはGPT-4 Turboからの抜本的な変更か？

GPT-4 Turboと比較したGPT-4oのアーキテクチャの変更の程度は、OpenAIのエンジニアリングチームとマーケティングチームのどちらに問い合わせるかによって解釈が分かれるようです。4月、LMSYSのChatbot Arena（トップ生成AIをランク付けするリーダーボード）に「im-also-a-good-gpt2-chatbot」というボットが登場しました。この謎のAIは現在、GPT-4oであることが明らかになっています。

名前に「gpt2」が含まれていることは重要です。これは、GPT-3.5とGPT-4の前身であるGPT-2とGPT-4oを区別します。「2」という接尾辞は、GPTシリーズのモデルにおける完全に新しいアーキテクチャを意味すると広く解釈されていました。

どうやら、OpenAIの研究またはエンジニアリングチーム内の個人は、テキスト、ビジョン、オーディオのコンテンツタイプを単一のモデルに統合することを、6年ぶりのバージョン番号の増分を正当化するのに十分な変更と見なしているようです。

対照的に、マーケティングチームは「GPT-4」の命名規則を継続する比較的控えめなアプローチを選択しています。

GPT-4oのパフォーマンスと他のモデルとの比較

OpenAIは、GPT-4oと他のいくつかのトップティアモデルを比較したベンチマーク数値を発表しました。

1. GPT-4 Turbo
2. GPT-4（初期リリース）
3. Claude 3 Opus
4. Gemini Pro 1.5
5. Gemini Ultra 1.0
6. Llama 3 400B

これらのうち、比較に関連性の高いモデルは3つだけです：GPT-4 Turbo、Claude 3 Opus、Gemini Pro 1.5です。これらのモデルはここ数ヶ月、LMSYS Chatbot Arenaのリーダーボードでトップの座を争ってきました。

Llama 3 400Bは将来的に競合する可能性がありますが、まだ開発中です。したがって、ここで提示するベンチマーク結果はこれら3つのモデルとGPT-4oに焦点を当てています。

評価には6つのベンチマークが使用されました。

1. Massive Multitask Language Understanding（MMLU）：初等数学、米国史、コンピュータサイエンス、法律などを含むタスクをカバー。モデルは広範な世界知識と問題解決能力を必要とします。
2. Graduate-Level Google-Proof Q&A（GPQA）：生物学、物理学、化学の分野の専門家が作成した多肢選択問題。質が高く非常に難易度が高く、対応分野で博士号を取得または取得中の専門家でも正答率は74%です。
3. MATH：中学校および高校の数学問題を含みます。
4. HumanEval：コンピュータコードの機能的正確性を評価し、コード生成の評価に使用されます。
5. Multilingual Grade School Math（MSGM）：10言語に翻訳された小学校の算数問題で、ベンガル語やスワヒリ語などの過少代表言語も含まれます。
6. Discrete Reasoning Over Paragraphs（DROP）：段落全体の理解を必要とする質問に焦点を当て、複数の文に分散した値の加算、カウント、ソートなどのタスクを含みます。

GPT-4o、GPT-4 Turbo、Gemini Pro 1.5、Claude 3 Opusの6つのLLMベンチマークに対するパフォーマンス。各ベンチマークのスコアは0〜100の範囲です。OpenAI提供のデータから再作成。GPQAベンチマークではGemini Pro 1.5のデータは提供されていません。

GPT-4oは4つのベンチマークで他のモデルを上回っていますが、MSGMベンチマークではClaude 3 Opusに、DROPベンチマークではGPT-4 Turboに敗れています。これらの特定の結果にもかかわらず、GPT-4oの全体的なパフォーマンスは印象的であり、新しいマルチモーダルトレーニングアプローチの可能性を示しています。

GPT-4oの数値をGPT-4 Turboと比較すると、パフォーマンスの向上は比較的控えめで、わずか数パーセントポイントの違いです。これは1年以内の顕著な進歩を示していますが、GPT-1からGPT-2、またはGPT-2からGPT-3で見られた劇的なパフォーマンスの飛躍には及びません。

テキスト推論で年間10%の改善を達成することが新たな標準になりつつあることは明らかです。容易な課題はすでに解決されており、テキスト推論における大幅な進歩はますます困難になっています。

しかし、これらのLLMベンチマークは、マルチモーダル問題に対するAIのパフォーマンスを完全に捉えているわけではありません。マルチモーダルトレーニングの概念はまだ比較的新しく、テキスト、音声、ビジョンにわたるモデルの習熟度を効果的に測定する方法が不足しています。

全体として、GPT-4oのパフォーマンスは印象的であり、マルチモーダルトレーニングという革新的なアプローチの可能性を示しています。

GPT-4oのユースケース

1. データ分析とコーディングタスク向けGPT-4o

最近のGPTモデルとその派生モデル（GitHub Copilotなど）は、コード作成、エラーの説明、エラーの修正などのコード支援をすでに提供しています。GPT-4oのマルチモーダル機能は興味深い可能性を提示します。

OpenAI CTOのMira Muratiが登場するプロモーションビデオでは、OpenAIの研究者Mark ChenとBarret ZophがGPT-4oを使用してPythonコードと対話するデモを行いました。

コードはテキストとしてGPTに提示され、音声対話機能を使用してGPTにコードの説明を要求します。その後、コードを実行した後、GPT-4oのビジョン機能を利用してプロットに関する説明を提供します。

全体として、ChatGPTに画面を表示して音声で質問するプロセスは、プロットを画像ファイルとして保存し、ChatGPTにアップロードしてから質問をタイプ入力するよりも、よりシンプルなワークフローとなる可能性があります。

2. リアルタイム翻訳向けGPT-4o

GPT-4oを休暇に持っていく準備をしましょう。低レイテンシの音声機能により、GPT-4oはリアルタイム翻訳を可能にします（携帯電話のプランにローミングデータがあることを前提としています！）。これにより、言語を話せない国での旅行がはるかに管理しやすくなります。

3. GPT-4oでのロールプレイ

ChatGPTは、夢のデータキャリアのための就職面接のシミュレーションや、製品販売を強化するための営業チームのトレーニングなど、ロールプレイシナリオの貴重なリソースであることが証明されています。

以前は主にテキストのみのロールプレイをサポートしていましたが、一部のユースケースには最適ではなかったかもしれません。しかし、音声機能が強化されたことで、音声ロールプレイが実行可能なオプションになりました。

ただし、従来のテキストキャラクタープレイをご希望の場合は、novita.ai LLM API:をお選びください。

4. 視覚障碍者支援向けGPT-4o

GPT-4oがカメラからのビデオ入力を解釈し、口頭でシーンを説明する能力は、視覚障碍者にとって重要な機能として大きな可能性を秘めています。これは基本的に、テレビで見られる音声説明機能を現実の状況に拡張したものです。

ChatGPTでGPT-4oにアクセスする方法

ChatGPTのアドレスは chat.openai.com から chatgpt.com に変更され、AIを単なる実験ではなくプロダクトとして真剣に取り組んでいることを示しています。アカウントでGPT-4oにアクセスできる場合、モバイルアプリとオンラインの両方で利用できます。

さらに、Macアプリが一部のユーザーに配布され始めています。ただし、リンクには注意が必要です。このリリースを悪用してコンピュータにマルウェアを配布する詐欺師がいるからです。最も安全な方法は、OpenAI自身から直接リンクを含むメールまたは通知を待つことです。

アプリの有効なリンクを持っていても、OpenAIアカウントで承認されるまではアクセスが許可されません。早まって使用しようとすると、「アクセス権がありません」というエラーメッセージが表示されます。

ChatGPTにサインイン

ChatGPTの有料版と無料版のどちらを選んでも、最初のステップはサインインです。ウェブサイトにアクセスするか、アプリをダウンロードしてアカウントにリンクします。まだアカウントをお持ちでない場合は、サインアップしてください。

モデルの選択を確認

画面の上部近くに、モデルのリストを含むドロップダウンメニューがあります。ウェブサイトでは、すでに「GPT-4o」が選択されている場合がありますが、「GPT-4」や「GPT-3.5」などのオプションが表示されることもあります。「GPT-4o」が表示されない場合は、そのモデルにアクセスできないことを意味します。

モバイルデバイスでは、アクセス権がある場合、画面上部のナビゲーションバーの中央に「ChatGPT 4o」と表示されます。

チャットを開始

アクセス権がある場合は、GPT-4oとのチャットをGPT-4と同じように開始します。ただし、レート制限が適用され、無料プランではこれがかなり低いことに注意してください。そのため、1日あたりの送信可能メッセージ数が決まっています。この制限に達した場合は、GPT-4またはGPT-3.5で会話を続けることができます。

チャット内でモデルを変更

チャットセッション中に使用するAIモデルを切り替えることもできます。例えば、GPT-4oを使用するメッセージ数を調整したい場合、GPT-3.5でチャットを開始できます。その後、応答の最後にあるスパークルアイコンを選択します。

この操作でモデルメニューが開き、GPT-4oを選択すると（より複雑な数学クエリに対処するために必要になるかもしれません）、次の応答がGPT-4oを使用して生成されます。

ファイルのアップロード

GPT-4oにアクセスでき、無料プランを利用している場合、分析用のファイルをアップロードできるようになりました。これらのファイルには、画像、動画、またはPDFが含まれます。その後、コンテンツに関する任意の質問をGPT-4oに投稿できます。

GPT-4oの制限とリスク

生成AIの規制はまだ初期段階にあり、現在実施されている主要な法的枠組みはEU AI Actです。そのため、AIを開発する企業は、安全なAIとは何かについて自ら判断を下す必要があります。

OpenAIは、新しいモデルを一般公開するのに適しているかどうかを評価するための準備フレームワークを採用しています。このフレームワークは、4つの主要な懸念領域を評価します。

1. サイバーセキュリティ：AIがサイバー犯罪者の生産性を向上させたり、エクスプロイトの作成を容易にする可能性があるかどうかを評価。
2. BCRN：AIが専門家による生物学的、化学的、放射線学的、または核の脅威の考案を支援する可能性があるかどうかを検討。
3. 説得：AIが個人の信念を変えるように影響を与える説得力のある（潜在的にインタラクティブな）コンテンツを生成する可能性を評価。
4. モデルの自律性：AIが他のソフトウェアと連携してアクションを実行する自律エージェントとして機能できるかどうかを調査。

各懸念領域は低、中、高、または重大に分類され、モデルの全体的なスコアは4つのカテゴリの中で最も高いグレードに対応します。

OpenAIは、重大な懸念を引き起こすモデルをリリースしないことを約束しています。しかし、この安全基準は比較的低く、重大な懸念は人類の文明を大きく混乱させる可能性のあるものと定義されています。GPT-4oは、中程度の懸念評価を獲得し、これを問題なく回避しています。

不完全な出力

すべての生成AIに共通することですが、モデルが期待通りに動作しない場合があります。コンピュータビジョン技術は完璧ではないため、画像や動画の解釈が正確であるとは限りません。

同様に、音声の書き起こしは、特に話者が強いアクセントを持っていたり、専門用語を使用する場合、100%正確であることはほとんどありません。

OpenAIは、GPT-4oが意図したとおりに機能しなかったいくつかのNGシーンを紹介する動画を公開しました。注目すべき失敗例としては、2つの非英語言語間の翻訳の失敗、不適切な声のトーン（見下すような口調など）、間違った言語での発話などがありました。

音声ディープフェイクの加速リスク

OpenAIの発表では、「GPT-4oの音声モダリティはさまざまな新しいリスクをもたらす」と認めています。多くの点で、GPT-4oは、AIが有名人、政治家、個人の知人を偽装するディープフェイク詐欺電話の蔓延を加速させる可能性があります。これは、効果的に対処される前に悪化する可能性が高く、GPT-4oはディープフェイク詐欺電話の説得力を大幅に高める能力を持っています。

このリスクに対処するため、音声出力は事前に選択された固定音声のセットに制限されています。

技術的に熟練した詐欺師がGPT-4oを使用してテキスト出力を生成し、独自のテキスト読み上げモデルを使用する可能性は考えられます。しかし、このアプローチがGPT-4oが提供するレイテンシと声のトーンの利点を依然として保持しているかどうかは不明です。

GPT-4oの価格は？

GPT-4 Turboよりも高速で、ビジョン機能が強化されているにもかかわらず、GPT-4oはその前身よりも約50%安価になります。OpenAIのウェブサイトによると、このモデルの使用料は、入力100万トークンあたり5ドル、出力100万トークンあたり15ドルです。

結論

GPT-4oは生成AIにおける重要な進歩であり、テキスト、音声、視覚処理を単一の効率的なモデルに統合します。この革新は、より迅速な応答、より没入感のあるインタラクション、そしてリアルタイム翻訳から強化されたデータ分析、視覚障碍者のアクセシビリティ向上に至るまで、より幅広いアプリケーションを約束します。

novita.ai は、無限の創造性のためのワンストッププラットフォームで、100以上のAPIにアクセスできます。画像生成や言語処理から音声強化や動画操作まで、従量課金制で安価にご利用いただけます。GPUメンテナンスの手間から解放され、独自の製品を構築できます。無料でお試しください。

おすすめ記事

LLMとGPTの違いは？

LLM Leaderboard 2024の予測が明らかに

Novita AI LLM推論エンジン：最大のスループットと最安の推論を実現