はじめに
大規模言語モデル（LLM）（GPT-3、PaLM、ChatGPTなど）が非常に人気を博すにつれ、その能力を徹底的に評価する必要性が極めて重要になっています。これらの高度なAIモデルは人間らしいテキストを理解・生成でき、様々なアプリケーションにおいて強力なツールとなっています。
しかし、大きな力には大きな責任が伴います。LLMが信頼性があり、偏りがなく、潜在的なリスクが十分に理解されていることを保証しなければなりません。このブログでは、学術論文「A Survey on Evaluation of Large Language Models」について議論します。この論文は、LLMを効果的に評価する方法について包括的な概要を提供します。
大規模言語モデルとは？
大規模言語モデル（LLM）は、自然言語処理（NLP）の分野に革命をもたらした高度な深層学習モデルのカテゴリを表します。これらのモデルは、その巨大なサイズと、インターネットから収集された膨大なテキストデータに対する広範な事前学習によって特徴づけられます。多くのLLMの基盤となるアーキテクチャはTransformerとして知られており、自己注意機構を備えたエンコーダとデコーダモジュールの層で構成されています。
Transformerアーキテクチャにより、LLMは人間らしいテキストの理解と生成に優れています。テキストを逐次的に処理する従来のモデルとは異なり、Transformerはデータの系列全体を並列処理でき、GPUの計算能力を活用してトレーニング時間を大幅に短縮します。この並列処理能力は、大規模モデルのトレーニングに関わるデータの複雑さと規模を扱う上で不可欠です。
LLMは教師なしまたは自己教師ありの方法でトレーニングされ、データに内在するパターンと構造のみに基づいてテキスト内の次の単語や単語系列を予測することを学習します。このアプローチにより、LLMは言語やドメインを横断して複雑な言語パターン、構文規則、意味的関係を捉えることができます。
さらに、LLMは転移学習が可能であり、比較的少量のタスク固有データで特定のタスクに微調整できます。この適応性により、言語翻訳、感情分析、テキスト要約、質問応答、さらにはクリエイティブライティングやコード生成タスクなど、幅広いアプリケーションで多用途に利用できます。多くの企業（例：Novita AI）は、プログラマーがLLMの力を活用できるようLLM APIを提供しています。
LLMのどの側面を評価すべきか？
論文「A Survey on Evaluation of Large Language Models」では、LLM評価をいくつかの主要分野に分類しています。
自然言語処理（NLP）
テキスト分類、自然言語推論、要約、翻訳、質問応答などのコアNLP能力のテスト。
推論
論理的推論、常識推論、多段階算術推論能力の評価。
ロバスト性
敵対的入力、分布外サンプル、データ破損などに対するモデル性能の検証。
倫理とバイアス
性別、人種、宗教に関するバイアスの評価、倫理原則への順守のテスト。
信頼性
モデル出力の信頼性、真実性、事実正確性の測定。
その他、多言語性能、医療応用、工学、数学、科学質問応答など多くの分野があります。
LLMをどこで評価すべきか？
LLMを包括的に評価するために、論文「A Survey on Evaluation of Large Language Models」の著者らは、さまざまな分野にわたって注意深くキュレーションされたデータセットとベンチマークが必要だと指摘しています。
汎用ベンチマーク
- BIG-bench、HELM、PromptBench：単一のベンチマークで多様な能力をテスト。
特化型NLPベンチマーク
- GLUE、SuperGLUE：一般的な言語理解。
- SQuAD、NarrativeQA：質問応答。
推論ベンチマーク
- StrategyQA、PIE：常識/多段階推論。
ロバスト性ベンチマーク
- GLUE-X、CheckList：様々な摂動に対するロバスト性の評価。
倫理・バイアスベンチマーク
- Winogender、CrowS-Pairs：性別バイアス。
- CANDELA：ヘイトスピーチの評価。
多言語ベンチマーク
- XGLUE、XTREME：言語横断的な汎化。
- M3Exam：多言語能力。
数学、科学、コード、パーソナリティテストなどの専門領域ベンチマークも存在します。
マルチモーダルベンチマーク
- テキストと画像、音声、動画などの組み合わせ。
- MMBench、MMLU、LAMM、MMEなど。
LLMをどのように評価すべきか？
「A Survey on Evaluation of Large Language Models」では、LLM評価のための様々なプロトコルについて議論しています。
自動評価
- BLEU、ROUGE、F1、Accuracyなどの指標を用いて出力を参照とスコアリング。
- 明確に定義されたタスクには有効だが、限界もある。
人間による評価
- 人間が出力を主観的に評価するよう募集。
- より高コストだが、自由回答形式の側面を捉えられる。
- 常識推論、自由生成に使用。
ヒューマン・イン・ザ・ループ
- 人間が対話的にフィードバックを提供し、モデルのプロンプト/出力を改良。
- 例：毒性出力をフィルタリングするAdaFilter。
クラウドソーシングテスト
- 人々からテンプレートをクラウドソーシングして新しいテストケースを作成。
- DynaBenchなどのプラットフォームが継続的なストレステストを実施。
チェックリスト
- 能力と障害モードをカバーするキュレーションされたテストケース。
- ソフトウェアテストチェックリストに着想を得たもの。
優れたベンチマーク性能を誇る人気のLLM
Anthropic: Claude 3.5 Sonnet
Claude 3.5 Sonnetは、Opusを超える性能、Sonnetより高速な処理速度を、同じSonnet価格で提供します。Sonnetは特にコーディング、データサイエンスの専門知識の強化、複数のツールを使用した非構造化データのナビゲーションと洞察、視覚処理、エージェントタスクに優れています。Claude 3.5 Sonnet APIはAnthropicによって提供されています。
Meta: Llama 3 70B Instruct
Metaの最新モデルクラス（Llama 3）は、様々なサイズとバリエーションでリリースされました。この70B指示調整版は、高品質な対話ユースケース向けに最適化されています。人間による評価において、主要なクローズドソースモデルと比較して強力な性能を示しています。Llama 3 70B Instruct APIの主要プロバイダーは、DeepInfra、Novita AI、OctoAI、Lepton、Together、Fireworks、Perplexityです。
OpenAI: GPT-4o
GPT-4o（「o」は「omni」）は、OpenAIの最新AIモデルで、テキストと画像の両方の入力とテキスト出力をサポートします。GPT-4 Turboの知能レベルを維持しながら、2倍高速で50%コスト効率が向上しています。GPT-4oは非英語言語の処理と視覚機能の向上も提供します。GPT-4oの主要プロバイダーはOpen AIとAzureです。
WizardLM-2 8x22B
WizardLM-2 8x22Bは、Microsoft AIの最も先進的なWizardモデルです。主要なプロプライエタリモデルと非常に競争力のある性能を示し、既存のすべての最先端オープンソースモデルを一貫して上回ります。WizardLM-2 8x22B APIの主要プロバイダーは、Novita AI、DeepInfra、Lepton、OctoAI、Togetherです。
Mistral: Mistral 7B Instruct
Mistral 7B Instructは、高性能で業界標準の7.3Bパラメータモデルであり、速度とコンテキスト長が最適化されています。Mistral 7B Instructの主要プロバイダーは、Novita AI、Lepton、DeepInfra、OctoAI、Togetherです。
LLM評価の今後の課題は何か？
「A Survey on Evaluation of Large Language Models」の著者らは、読者が考慮すべき今後の課題をいくつか指摘しています。
AGIベンチマークの設計
- 汎用人工知能を包括的にテストできるベンチマークが必要。
- マルチタスク、マルチモーダル、自由回答形式の能力をカバーすべき。
完全な行動テスト
- すべての可能な入力分布と行動に対するストレステスト。
- 実世界展開での信頼性と安全性を確保。
ロバスト性評価
- 敵対的攻撃、分布シフト、安全リスク。
- 現在のアドホックな方法を超えた原則的なフレームワークが必要。
動的評価
- LLMが進化するにつれて評価を更新し、新しいリスク/能力に対応。
- 例：LLMがコーディングや数学推論に秀でるようになる場合。
統一評価
- 多様なLLMを一貫して評価する統一フレームワークが必要。
- 現在のアプローチはアドホックで標準化が不足。
信頼できる評価
- 評価プロセス自体が偏りなく、安全で、忠実でなければならない。
- LLMによる不正行為や信頼できない人間によるアノテーションを防止。
結論
大規模言語モデルを厳密に評価することは、信頼を構築し、安全で倫理的な展開を可能にするために極めて重要です。「A Survey on Evaluation of Large Language Models」は、LLM評価における主要な側面、データセット、プロトコル、未解決の課題について徹底的な概要を提供しています。これらの強力なAIモデルが進化し続ける中、評価研究もその性能を精査し、社会への潜在的なリスクを防ぐために歩調を合わせる必要があります。原則に基づいた評価の実践に従うことは、LLMの変革の可能性を責任を持って活用するために不可欠です。
参考文献
Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang, Y., Chang, Y., Yu, P. S., Yang, Q., & Xie, X. (2018). A survey on evaluation of large language models. Journal of the ACM, 37(4), Article 111. https://arxiv.org/abs/2307.03109
Novita AI は、AIの野望を実現するオールインワンのクラウドプラットフォームです。シームレスに統合されたAPI、サーバーレスコンピューティング、GPUアクセラレーションにより、AI駆動型ビジネスを迅速に構築・拡大するためのコスト効率の高いツールを提供します。インフラストラクチャの煩わしさを排除し、無料で始められます。Novita AIがあなたのAIの夢を現実にします。
