CLIPやFlamingoのような大規模マルチモーダルモデル（LMM）が、テキストや画像など多様なデータモダリティを処理・生成する変革的な影響を探ります。新しいモダリティの組み込み、学習効率の向上、マルチモーダル出力の生成など、最先端の研究の方向性を発見し、産業とユーザーとAIのインタラクションに革命をもたらす可能性を秘めています。
背景
長い間、機械学習モデルは単一のデータモードで動作していました。翻訳や言語モデリングではテキスト、物体検出や分類では画像、音声認識では音声といった具合です。しかし、人間の知能は単一のモダリティに限定されません。私たちはテキストを読み書きし、画像やビデオを解釈し、リラックスのために音楽を聴き、危険を検知するために音に頼ります。現実世界で効果的に機能するためには、AIもマルチモーダルデータを扱える必要があります。
これを認識したOpenAIは、画像などの追加モダリティを大規模言語モデル（LLM）に組み込むことの重要性を強調し、AI研究開発の重要なフロンティアを示しました。この追加モダリティの統合により、LLMは大規模マルチモーダルモデル（LMM）へと変貌します。過去1年間で、DeepMindのFlamingo、SalesforceのBLIP、MicrosoftのKOSMOS-1、GoogleのPaLM-E、TencentのMacaw-LLMなど、主要な研究ラボが次々と新しいLMMを発表してきました。ChatGPTやGeminiのようなチャットボットさえもLMMのカテゴリに含まれます。
ただし、すべてのマルチモーダルシステムがLMMというわけではありません。Midjourney、Stable Diffusion、DALL-Eなどのモデルは複数のモダリティを処理できますが、言語モデルコンポーネントを欠いています。マルチモーダルシステムは、入力と出力が異なるモダリティの場合（例：テキスト→画像、画像→テキスト）、入力がマルチモーダルの場合（例：テキストと画像の両方を処理）、または出力がマルチモーダルの場合（例：テキストと画像の両方を生成）など、さまざまなシナリオを含みます。
マルチモーダルとは
マルチモーダルとは、以下の1つ以上を意味します。
- 入力と出力が異なるモダリティである（例：テキスト→画像、画像→テキスト）
- 入力がマルチモーダルである（例：テキストと画像の両方を処理できるシステム）
- 出力がマルチモーダルである（例：テキストと画像の両方を生成できるシステム）
なぜマルチモーダルなのか
マルチモダリティは、多くのユースケースで不可欠です。特に、ヘルスケア、ロボティクス、電子商取引、小売、ゲームなど、データモダリティの混合を扱う業界では重要です。
実際、複数のモダリティからのデータを統合することで、モデルのパフォーマンスを大幅に向上させることができます。テキストと画像の両方から学習できるモデルが、単一のモダリティに限定されたモデルよりも優れたパフォーマンスを発揮するのは当然のことです。
マルチモーダルシステムは、より柔軟なインターフェースを提供し、ユーザーが好みや状況に応じてさまざまな方法でシステムと対話できるようにします。質問をタイピング、音声、または単にカメラを物体に向けることで行える未来を想像してみてください。
データモダリティ
さまざまなデータモダリティには、テキスト、画像、音声、表形式データなどがあります。各モダリティは別の形式に変換または近似できます。
- 音声はメルスペクトログラムなどの画像として表現できます。
- 音声はテキストに書き起こせますが、この変換では音量、イントネーション、ポーズなどのニュアンスが失われる可能性があります。
- 画像はベクトルに変換でき、それをフラット化してテキストトークンのシーケンスとして表現できます。
- ビデオは画像のシーケンスと音声を組み合わせたものです。しかし、現在のMLモデルは通常、ビデオを画像のシーケンスとしてのみ扱い、音の重要性を見落としています。この制限は注目に値します。なぜなら、TikTokユーザーの88%が音の重要性を強調しているように、音はビデオ体験に大きく貢献するからです。
- テキストは写真を撮るだけで画像としてキャプチャできます。
- データテーブルはチャートに変換でき、それは本質的に画像です。
以下は、novita.aiのさまざまなモダリティです。
novita.aiは、無限のクリエイティビティのためのワンストッププラットフォームで、100以上のAPIにアクセスできます。画像生成から言語処理、音声強調、動画操作まで、低価格の従量課金制で、独自製品を構築しながらGPUメンテナンスの手間から解放されます。無料で試す。
マルチモーダルのタスク
マルチモーダルシステムを理解するには、それらが扱うタスクを調べることが有益です。これらのタスクは多岐にわたり、その整理方法も多数あります。文献では、視覚言語タスクはしばしば2つの主要グループに分類されます。生成と、生成を伴わないタスクを含む視覚言語理解（VLU）です。ただし、これらのグループの区別はやや曖昧であり、応答を生成する能力には本質的に理解も含まれることに注意が必要です。
生成
生成タスクでは、出力は単一モーダル（テキスト、画像、3Dレンダリングなど）またはマルチモーダルになり得ます。現在のモデルでは単一モーダル出力が一般的ですが、マルチモーダル出力の開発はまだ進行中です。この投稿の終わり近くでマルチモーダル出力について詳しく掘り下げます。
画像生成（テキストから画像への合成）
このタスクカテゴリは単純です。例：Dall-E、Stable Diffusion、Midjourney。
テキスト生成
テキスト生成で一般的なタスクは、視覚的質問応答（VQA）です。モデルにはテキストと画像の両方が提供され、コンテキストを導き出します。これにより、ユーザーはカメラを使って「私の車のどこが悪いの？」や「この料理の準備方法は？」といった質問ができるようになります。
同様に、画像キャプション作成も別の一般的なアプリケーションです。これは、製品画像、グラフ、デザイン、チーム写真、プロモーション資料など、膨大な画像ライブラリを保有する組織が使用するテキストベースの画像検索システムに統合できます。AIがキャプションとメタデータを自動生成することで、これらのコレクション内の特定の画像を見つけるプロセスが簡素化されます。
視覚言語理解
ここでは2種類のタスクに焦点を当てます。分類とテキスト駆動画像検索（TBIR）です。
分類
分類モデルは、事前定義されたクラスのリストに含まれる出力のみを生成できます。これは、可能な結果の数が決まっている場合に適しています。例えば、光学文字認識（OCR）システムでは、タスクは単に視覚情報が認識された文字（数字や英字など）のいずれかに該当するかどうかを予測することです。
分類に密接に関連するタスクとして、画像からテキストへの検索があります。画像と事前定義されたテキストのセットが与えられたとき、目的は画像に最も対応するテキストを特定することです。このアプリケーションは、製品画像の検索などに特に役立ちます。例えば、特定の画像に基づいて製品レビューを取得する場合などです。
GPT-4Vによる文書処理。モデルの誤りは赤で強調表示されています。
テキストベースの画像検索（画像検索）
画像検索は、検索エンジンだけでなく、内部の画像や文書を検索したい企業にとっても重要です。テキストベースの画像検索は「テキストから画像への検索」と呼ばれることもあります。
テキストベースの画像検索にはさまざまなアプローチがあります。注目すべき2つの方法は次のとおりです。
- 各画像のキャプションとメタデータを手動または自動で生成する（テキスト生成における画像キャプション作成を参照）。テキストクエリが与えられた場合、クエリに最も近いキャプションまたはメタデータを持つ画像を特定することが目的です。
- 画像とテキストの両方のための共同埋め込み空間を学習する。このアプローチでは、テキストクエリが埋め込みを生成し、目的はクエリの埋め込みに最も類似した埋め込みを持つ画像を見つけることです。
後者のアプローチはより柔軟性が高く、より広く採用されると予想されます。これは、OpenAIのCLIPによって開発されたような、視覚と言語のための強力な共同埋め込み空間の確立に依存しています。
マルチモーダル学習の主要コンポーネント
大まかに言えば、マルチモーダルシステムは以下のコンポーネントで構成されます。
- 各データモダリティのためのエンコーダー。そのモダリティ固有の埋め込みを生成する役割を担います。
- 異なるモダリティからの埋め込みを統一されたマルチモーダル埋め込み空間内で整列させるメカニズム。
- 生成モデルの場合、テキスト応答を生成するための言語モデルが必要です。入力にはテキストと視覚情報の両方が含まれる可能性があるため、言語モデルがテキストだけでなく視覚情報に基づいて応答を生成できるようにするための革新的な技術が必要です。
理想的には、これらのコンポーネントのできるだけ多くが事前学習され、再利用可能であることが望ましく、効率性と汎用性を高めます。
既存のマルチモーダルシステムの紹介
この投稿でどのマルチモーダルシステムに焦点を当てるかを選択するのは困難でした。なぜなら、非常に多くの優れた選択肢があるからです。最終的に、私は2つのモデル、CLIP（2021年）とFlamingo（2022年）を選びました。これらの選択は、それらの重要性、および公開情報の入手可能性と明確さに基づいています。
CLIPは、ゼロショットおよび少数ショット学習技術を使用して複数の画像分類タスクに一般化できる最初のモデルとして歴史に名を残しました。一方、Flamingoは、オープンエンドの応答を生成できる最初の大規模マルチモーダルモデルではありませんでした（SalesforceのBLIPが3ヶ月先行していました）が、その印象的なパフォーマンスにより、多くの人がマルチモーダル分野におけるGPT-3に相当する決定的瞬間と見なしました。
古いモデルではありますが、CLIPとFlamingoが採用した技術は現在でも有効です。これらは、急速に進化するマルチモーダル環境の中で新しいモデルを理解するための基盤的な柱として機能し、多くの革新的なアイデアが絶えず開発されています。
CLIP: Contrastive Language-Image Pre-training
CLIPの主要なブレークスルーは、異なるモダリティ（テキストと画像）からのデータを共有埋め込み空間にマッピングできる能力にあります。この共有マルチモーダル埋め込み空間により、テキストから画像への変換や画像からテキストへの変換などのタスクが大幅に簡素化されます。
さらに、このマルチモーダル埋め込み空間の学習により、CLIP内に強力な画像エンコーダーが生まれました。その結果、CLIPはさまざまな画像分類タスクで競争力のあるゼロショット性能を発揮します。この画像エンコーダーの強力さは、画像生成、視覚的質問応答、テキスト駆動画像検索など、他のアプリケーションにも及びます。特に、FlamingoやLLaVAはCLIPを画像エンコーダーとして利用し、DALL-Eは生成された画像の再ランク付けにCLIPを使用しています。ただし、GPT-4VがCLIPをアーキテクチャに組み込んでいるかどうかは不明です。
CLIPは自然言語の教師信号と対照学習技術を利用し、モデルがデータをスケールアップし、学習の効率を向上させることを可能にしました。
CLIPの高レベルアーキテクチャ
CLIPのアーキテクチャでは、エンコーダーと投影行列の両方がスクラッチから共同で学習されます。学習の目的は、正しい（画像、テキスト）ペアの類似度スコアを最大化し、誤ったペアの類似度スコアを最小化することです。これは対照学習として知られる技術です。
CLIPの応用
分類
現在、CLIPは多くの画像分類タスクにおいて、そのまま使用するか、特定の用途に合わせて微調整することで、堅牢な既製のベースラインとして機能しています。
テキストベースの画像検索
CLIPの学習プロセスは、画像からテキストへの検索とテキストから画像への検索の両方と概念的に類似しているため、画像検索や検索のような幅広いアプリケーションに大きな可能性を秘めています。ただし、画像検索タスクにおける全体的な最先端技術と比較すると、そのパフォーマンスは著しく低くなっています。
CLIPを画像検索に活用する取り組みが行われています。例えば、clip-retrievalパッケージは次のように動作します。
- すべての画像に対してCLIP埋め込みを生成し、ベクトルデータベースに保存します。
- 各テキストクエリに対してCLIP埋め込みを生成します。
- ベクトルデータベースをクエリして、テキストクエリ埋め込みに最も近い埋め込みを持つすべての画像を取得します。
画像生成
CLIPの共同画像テキスト埋め込みは、画像生成タスクに貴重なサポートを提供します。例えば、DALL-E（2021年）はCLIPを使用して、与えられたテキストプロンプトに基づいて多数の生成されたビジュアルを再ランク付けし、ユーザーにトップのビジュアルを表示します。
2022年、OpenAIはCLIP潜在変数に条件付けられたテキストから画像への合成モデルであるunCLIPを発表しました。これは2つの主要コンポーネントで構成されています。
- CLIPは学習され、固定されたまま維持されます。事前学習されたCLIPモデルは、同じ埋め込み空間内でテキストと画像の両方の埋め込みを生成できます。
- 画像生成中には2つのステップが行われます。 a. CLIPを使用して、与えられたテキストの埋め込みを生成します。 b. 拡散デコーダーを使用して、これらの埋め込みに条件付けられた画像を生成します。
テキスト生成
CLIPの著者らは、テキスト生成モデルの作成も検討しました。彼らが実験したバリアントの1つはLM RN50として知られています。しかし、このモデルはテキスト応答を生成できましたが、評価されたすべての視覚言語理解タスクにおいて、そのパフォーマンスは常に最良のCLIPモデルより約10%劣っていました。
CLIP自体は今日、テキスト生成に直接使用されているわけではありませんが、その画像エンコーダーは、テキストを生成できる大規模マルチモーダルモデル（LMM）の基盤として頻繁に使用されています。
Flamingo: LMMの夜明け
CLIPとは対照的に、Flamingoはテキスト応答を生成する能力を持っています。簡略化して言えば、FlamingoはCLIPと言語モデルを組み合わせ、言語モデルが視覚入力とテキスト入力の両方に条件付けられたテキストトークンを生成できるようにする追加技術を組み込んだものと見なせます。
Flamingoはテキストと画像の両方に条件付けられたテキスト応答を生成できます。
Flamingoの高レベルアーキテクチャ
Flamingoは2つの主要コンポーネントに分解できます。
- 視覚エンコーダー：この側面では、対照学習を使用してCLIPのようなモデルを学習します。その後、モデルのテキストエンコーダーは破棄され、視覚エンコーダーは固定されてメインモデルに統合されます。
- 言語モデル：Flamingoは、視覚入力とテキスト入力の両方に条件付けられたテキストトークンを生成するために、Chinchillaを微調整します。このプロセスでは、言語モデルの損失を使用し、Perceiver ResamplerとGATED XATTN-DENSE層という2つの追加コンポーネントを組み込みます。
データセット
Flamingoは4つのデータセットを使用しました。2つの（画像、テキスト）ペアデータセット、1つの（ビデオ、テキスト）ペアデータセット、そして1つのインターリーブされた画像とテキストのデータセットです。
Flamingoの言語モデル
Flamingoでは、Chinchillaが言語モデルとして機能し、特に事前学習された9つのChinchilla LM層を固定することに重点が置かれています。従来の言語モデルは、先行するテキストトークンのみに基づいて次のテキストトークンを予測します。
Flamingoはこれを拡張し、先行するテキストトークンと視覚トークンの両方を考慮して次のテキストトークンを予測します。テキストと視覚入力の両方に条件付けられたテキストを生成するこの能力は、Perceiver ResamplerとGATED XATTN-DENSE層の統合によって実現されています。
CLIP vs. Flamingo
LMMの将来の方向性
CLIPは登場から3年、Flamingoは2周年を迎えようとしています。それらのアーキテクチャは大規模マルチモーダルモデル（LMM）の構築を理解するための強固な基盤を提供していますが、この分野では多くの進歩が起きています。
マルチモーダル分野におけるいくつかの方向性は私にとって特に興味深いものです。ただし、このリストは決して網羅的ではありません。この投稿の長さと、私がまだこのテーマを探求中であることが原因です。もし洞察や推奨事項があれば、ぜひ教えてください！
より多くのデータモダリティの組み込み
マルチモーダルシステムの分野では、現在の焦点は主にテキストと画像にあります。しかし、ビデオ、音楽、3Dデータなどの他のモダリティを統合できるシステムの必要性が生じるのは時間の問題です。すべてのデータモダリティに対応する統一された埋め込み空間を持つという見通しは確かにエキサイティングです。
この分野における注目すべき研究成果には以下があります。
- ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding (Xue et al., 2022年12月)
- ImageBind: One Embedding Space To Bind Them All (Girdhar et al., 2023年5月)
- NExT-GPT: Any-to-Any Multimodal Large Language Model (Wu et al., 2023年9月)
さらに、Jeff Deanの野心的なPathwaysプロジェクト（2021年）は、「視覚、聴覚、言語理解を同時に包含するマルチモーダルモデルを実現する」ことを目指しています。
より効率的なマルチモーダルの学習
FlamingoはChinchillaから9つの事前学習済みかつ固定された層を利用しましたが、その視覚エンコーダー、Perceiver Resampler、およびGATED XATTN-DENSE層をスクラッチから事前学習する必要がありました。これらのモジュールをスクラッチから学習するのは計算コストが高くなる可能性があります。その結果、最近の研究の多くは、スクラッチからの学習を減らしてマルチモーダルシステムをブートストラップする、より効率的な方法の開発に焦点を当てています。
これらの研究の中には、有望な結果を示すものもあります。例えば、BLIP-2は、学習可能なパラメーターが54分の1であるにもかかわらず、ゼロショットVQA-v2でFlamingo-80Bを8.7%上回りました。
この分野における注目すべき研究には以下があります。
- BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
- [LAVIN] Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
- LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
以下の画像は、Chunyuan Li氏によるCVPR 2023の大規模マルチモーダルモデルチュートリアルから引用したものです。このチュートリアルは、このテーマを包括的にカバーしており、強くお勧めします。
マルチモーダル出力の生成
マルチモーダル入力を処理できるモデルがますます普及するにつれて、マルチモーダル出力機能の開発は依然として遅れています。多くの実用的なシナリオでは、マルチモーダル出力が必要です。例えば、ChatGPTにRLHFについて説明を求める場合、効果的な応答にはグラフ、数式、さらには簡単なアニメーションを含めることが効果的です。
マルチモーダル出力を生成するには、モデルはまず共有の中間出力を生成する必要があります。重要な考慮事項は、この中間出力の性質です。
中間出力の1つのアプローチはテキストであり、その後、他のアクションの生成や合成を導きます。
例えば、CM3（Aghajanyanら、2022年）はHTMLマークアップを生成し、それをテキストだけでなく、書式設定、リンク、画像も含むウェブページにコンパイルできます。GPT-4VはLaTeXコードを生成し、それをデータテーブルに再構築できます。
結論
単一モーダルからマルチモーダルAIシステムへの進化は、人工知能の研究開発における重要な進歩を示しています。CLIPやFlamingoのようなモデルは、テキスト、画像など多様なデータモダリティを処理・生成できる大規模マルチモーダルモデル（LMM）への道を切り開きました。この分野が進歩し続けるにつれて、研究者たちはビデオや3Dデータなどの追加モダリティの組み込み、学習効率の向上、マルチモーダル出力を生成する方法の開発など、新たなフロンティアを探求しています。これらの進歩は、さまざまな産業に革命をもたらし、ユーザーとAIシステムとのインタラクションを向上させる大きな可能性を秘めています。
novita.aiは、無限のクリエイティビティのためのワンストッププラットフォームで、100以上のAPIにアクセスできます。画像生成から言語処理、音声強調、動画操作まで、低価格の従量課金制で、独自製品を構築しながらGPUメンテナンスの手間から解放されます。無料でお試しください。
おすすめの記事
