はじめに
大規模言語モデルはどのように、そしてなぜインコンテキスト学習が異なるのか？この記事では、「 インコンテキスト学習 」（ICL）の概念を探求し、異なるサイズのモデルにおけるインコンテキスト学習の振る舞いに関する最新の知見を わかりやすい英語 で解説し、異なるLLMのICL行動を活用する方法について掘り下げます。興味があれば、ぜひ読み進めてください！
「インコンテキスト学習」とは？
インコンテキスト学習 とは、大規模言語モデル（LLM）の開発から生まれた魅力的な能力です。これは、入力コンテキスト内に提供された簡単なタスク例のみに基づいて、これらのモデルが新しい未見のタスクで良好に性能を発揮できる能力を指します。これは注目すべき偉業であり、モデルは基礎となるパラメータを更新したり微調整したりすることなく、知識を新しい状況に適応させ適用できます。
インコンテキスト学習の重要な側面は、モデルが事前の知識や訓練のみに頼るのではなく、入力プロンプトの一部として与えられた文脈情報を活用して応答を生成することです。例えば、線形方程式の解き方の例をいくつか提示すると、モデルはその文脈を使って、これまで遭遇したことのないまったく新しい線形方程式を解くことができます。モデルは基礎となるパターンを推論し、それを新しい問題に適用できるため、その特定のタイプの方程式について明示的に訓練される必要はありません。
「インコンテキスト学習」の利点とは？
汎用性と適応性
- ICLにより、大規模言語モデルは広範囲のタスクやドメインにわたって、大規模な再訓練を必要とせずに適用できます。
- これにより、モデルはICLを通じて新しいスキルを学習し、能力を継続的に拡張できます。
サンプル効率
- ICLは新しいタスクを学習するために比較的少数の例しか必要とせず、従来の教師あり学習と比べてデータの必要性を減らします。
- これは、ラベル付きデータが乏しい場合や入手にコストがかかる場合に有益です。
計算効率
- ICLはモデルのパラメータ更新を伴わず、単一の順伝搬で実行できます。
- この計算効率は、リアルタイムアプリケーションやリソースに制約のある展開にとって重要です。
創発的能力
- 大規模言語モデルは、ICLを通じて未見のタスクでしばしば優れた性能を発揮し、それらのタスクに明示的に訓練されたモデルの性能を超えることがあります。
- これは、モデルが文脈情報を効果的に活用して新しい問題を解決できることを示唆しています。
モデル行動への洞察
- ICLを理解することは、大規模言語モデルが知識をどのように表現し活用するかについて貴重な洞察を提供します。
- これは、より堅牢で信頼性の高いAIシステムの開発に役立ちます。
大きな発見：大規模言語モデルはインコンテキスト学習が異なる
論文「Larger Language Models Do In-context Learning Differently」 by Jerry Wei, Jason Wei, Yi Tay 他では、インコンテキスト学習が事前訓練からの意味的先行知識に依存するのか、それとも例示から入力ラベルマッピングを学習するのかについて議論しています。
研究の詳細に興味がなければ、次の結論だけを知り、次のセクションに進んでください：言語モデルが大きいほど、意味的先行知識（モデルが事前訓練中に学習する固有の意味や関連付け）への依存度が低くなり、入力コンテキストから学習する能力が高まります。
さらに深く掘り下げたい方へ
背景
- 言語モデルは、プロンプトの一部として少数の例示を与えられるインコンテキスト学習（ICL）を通じて、さまざまな下流タスクを実行できます。
- ICLが事前訓練からの意味的先行知識に依存するのか、それとも例示から入力ラベルマッピングを学習するのかについては議論があります。
理論的設定
著者らは、意味的先行知識と入力ラベルマッピングの相互作用を探るために、2つの設定を調査しています：
- ラベル反転ICL：例示のラベルが反転され、モデルに意味的先行知識を上書きするよう強制します。
- 意味的に関連のないラベルICL（SUL-ICL）：ラベルがタスクと意味的に関連しておらず、意味的先行知識を取り除きます。
実験デザイン
- GPT-3、InstructGPT、Codex、PaLM、Flan-PaLMの5つのモデルファミリー（さまざまなサイズ）に対して、7つのNLPタスクで実験を実施。
- 通常のICL、ラベル反転ICL、SUL-ICLの各設定での性能を評価。
主な発見
- ラベル反転ICL：小規模モデルは意味的先行知識を上書きできませんが、大規模モデルは反転された例示ラベルに従うことを学習できます。
- SUL-ICL：小規模モデルは意味的先行知識に依存する傾向が強いのに対し、大規模モデルは意味的先行知識なしで入力ラベルマッピングを学習できます。
- 意味的先行知識を上書きし、入力ラベルマッピングを学習する能力は、モデル規模の拡大に伴って現れます。
- インストラクションチューニングは、入力ラベルマッピングを学習する能力よりも、意味的先行知識の使用を強化します。
なぜ大規模言語モデルはインコンテキスト学習が異なるのか？
別の論文「Why Do Larger Language Models Do In-context Learning Differently?」（Zhenmei Shi, Junyi Wei, Zhuoyan Xu, Yingyu Liang）では、大規模LLMと小規模LLMのインコンテキスト学習性能の違いの原因について議論しています。ここでは、平易な英語版と専門版の2つのバージョンを提供します。ご都合の良いほうをお選びください。
平易な英語版を希望
この論文では、大規模モデルと小規模モデルのICL行動の違いの「なぜ」を説明しています：
主な理由は、モデルがインコンテキスト学習プロセス中にどのように異なる特徴に注意を配分するかに関係しています。
小規模モデルは、タスクに関連する重要で有益な特徴に集中する傾向があります。これらの主要な特徴を強調するため、入力コンテキスト内のノイズや無関係な情報に対してより頑健です。
対照的に、大規模言語モデルはより広範囲の特徴に注意を向ける能力があり、重要でない特徴やノイズの多い特徴も含まれます。これにより多くの情報を捉えることができますが、入力コンテキストの無関係またはノイズの多い側面に気を取られやすくなります。
基本的に、大規模モデルは関連・無関連の両方を含むより広い範囲の特徴をカバーするのに対し、小規模モデルは最も顕著な特徴を優先します。この 注意配分の違い が、インコンテキスト学習において小規模モデルが大規模モデルよりも頑健である理由です。
さらに深く掘り下げたい方へ
研究の背景
この論文では、大規模言語モデル（LLM）が小規模モデルと異なるインコンテキスト学習（ICL）行動を示す理由を検証しています。ICLはLLMの重要な創発的能力であり、モデルパラメータを更新することなく、少数のタスク例に基づいて未見のタスクで良好に性能を発揮できます。最近の研究では、大規模LLMはテストコンテキストのノイズに対してより敏感で、小規模モデルよりも性能が悪い傾向があることが観察されています。
理論的設定
この現象を理解するために、論文では2つの様式化された設定を分析しています：
- 1層単一ヘッド線形トランスフォーマーを用いた線形回帰
- 2層マルチアテンションヘッドトランスフォーマーを用いたパリティ分類
目標は、注意機構とモデル規模がICL行動にどのように影響するかについて理論的洞察を提供することです。
両方の設定について、著者らは閉形式の最適解を提供し、小規模モデルと大規模モデルで注意機構がどのように異なるかを特徴付けています。
実験デザイン
著者らは、Llamaモデルファミリーのさまざまなサイズを用いて、5つの一般的なNLPタスクでインコンテキスト学習実験を実施しています。実験結果は理論的分析を裏付けるために使用されています。
主な発見
- 小規模モデルは重要な隠れ特徴を強調するのに対し、大規模モデルは重要でない特徴やノイズの多い特徴も含むより多くの特徴をカバーします。
- 小規模モデルは評価中のラベルノイズや入力ノイズに対してより頑健ですが、大規模モデルはそのようなノイズに気を取られやすく、ICL性能が低下します。
- 理論的分析と実験結果は、注意機構とモデル規模がICL行動にどのように影響するかについて洞察を提供し、LLMの内部動作に光を当てています。
異なるLLMのICL行動を活用する
これらの微妙な違いを認識することは、データの特性やタスク要件に基づいて適切なモデルを選択するために重要です。前述の2つの論文から学んだように、小規模モデルは入力ノイズに対してより頑健であり、主要な特徴に焦点を当て、無関係な情報に気を取られにくいです。対照的に、大規模モデルは多様な特徴の包括的な理解を必要とするタスクに優れ、より広い文脈知識を活用します。
したがって、異なるLLMのICL行動を活用するために、Novita AI は、AIスタートアップ開発者に、コスト効率が高く自動スケーリング可能なLLM APIを、さまざまなLLMモデルオプションとともに提供しています。
わずか数行のコードで、強力なLLMをAI製品に統合できます。APIを使用する前に、Novita AI Playground でさまざまなLLMの機能を自由に試してみてください。
結論
インコンテキスト学習とは、大規模言語モデル（LLM）が入力（つまりコンテキスト）に基づいて未見のタスクで良好に性能を発揮する能力です。
大規模言語モデルはどのようにインコンテキスト学習が異なるのか？ 言語モデルが大きいほど、意味的先行知識への依存度が低くなり、入力コンテキストから学習する能力が高まります。
なぜ大規模言語モデルはインコンテキスト学習が異なるのか？ これらの違いの主な理由は、モデルがインコンテキスト学習プロセス中に異なる特徴に注意を配分する方法に関係しています。
異なる言語モデルが示す多様なインコンテキスト学習行動を 活用する には、多様なLLMモデル選択肢を備えたAPIを実装することが有利である可能性があります。
Novita AI は、無限の創造性のためのワンストッププラットフォームで、100以上のAPIにアクセスできます。画像生成、言語処理、音声強調、動画操作まで、低コストの従量課金制で、GPUメンテナンスの手間から解放されながら、自社製品を構築できます。無料でお試しください。
