はじめに
Databricks は、人工知能の世界に革命をもたらす製品を発表しました — Dolly 2.0 は、商用利用可能な初のオープンソースの指示追従型大規模言語モデル (LLM) です。しかし、Dolly 2.0 の何がそんなに革命的であり、組織はその能力をどのように活用してイノベーションを推進できるのでしょうか？この包括的なガイドでは、この強力な AI モデルの技術的な凄さ、魅力的な強み、多様なアプリケーションについて掘り下げるとともに、LLM API がその限界をどう克服できるかを探ります。
Dolly 2.0 とは？
Dolly 2.0 は、Databricks が開発した大規模言語モデル (LLM) における最新のブレークスルーです。以前の Dolly 1.0 モデルの成功を基に、Dolly 2.0 は商用利用可能な初のオープンソースの指示追従型 LLM です。
Dolly 2.0 の技術的詳細
Dolly 2.0 は 120 億パラメータのモデルで、databricks-dolly-15k という新しいデータセットでファインチューニングされています。このデータセットは 5,000 人以上の Databricks 従業員によって丹念に作成され、指示 LLM のトレーニング用に特別に設計された 15,000 の高品質なプロンプトと応答のペアが生成されました。以前のデータセットとは異なり、databricks-dolly-15k はクリエイティブ・コモンズライセンスの下で商用利用が完全に許可されています。
この新しいデータセット databricks-dolly-15k には、大規模言語モデルの指示チューニング用に特別に設計された 15,000 の高品質なプロンプトと応答のペアが含まれています。データセットは 2023 年 3 月から 4 月にかけて、5,000 人以上の Databricks 従業員からクラウドソーシングされ、コンテストを通じてインセンティブが与えられ、オープンエンドの Q&A、クローズドブック Q&A、情報抽出と要約、ブレインストーミング、分類、クリエイティブライティングなどのタスクをカバーする幅広いプロンプトと応答が生成されました。
当初の目標である 10,000 を超え、Databricks はゲーミフィケーションを活用してこのかなりのデータセットを迅速に収集し、以前の指示データセットとは異なり、クリエイティブ・コモンズライセンスの下で商用利用が重要なライセンスとなっています。
Databricks はなぜ Dolly 2.0 を商用利用可能にしたのか？
Databricks が商用利用可能な指示 LLM を作成するまでの道のりは、顧客の需要に後押しされました。Dolly 1.0 がリリースされたとき、一番の質問は商用利用できるかどうかでしたが、基盤となるデータセットにはそれを禁止する利用規約がありました。これを解決するために、Databricks は 5,000 人以上の熱心な従業員を活用して新しい databricks-dolly-15k データセットをクラウドソーシングし、高品質でオリジナルなプロンプトと応答のペアを生成しました。
その結果が Dolly 2.0 です。これは、あらゆる組織が使用、変更、および拡張して、ドメイン固有の AI アシスタントやアプリケーションを作成できる、強力なオープンソース LLM です。Databricks は、このオープンでコミュニティ主導の AI 開発アプローチが、AI の恩恵を少数の大企業だけでなく、すべての人が享受できるようにするために重要であると考えています。
Dolly 2.0 の強み
カスタマイズ可能なファインチューニング機能
ChatGPT のような管理された大規模言語モデル (LLM) とは異なり、Dolly 2.0 はユーザーにファインチューニングプロセスに対する完全な制御を提供します。管理サービスプロバイダーによって課されるトークンごとやレコードごとの料金に制約されるのではなく、ユーザーは追加料金を発生させることなく、事前トレーニングされたオープンソースの Dolly 2.0 モデルを特定のニーズに合わせてファインチューニングできます。重要なことに、Dolly 2.0 ユーザーは評価指標への完全なアクセスとモデルの動作の明確な理解も得られ、データサイエンティストがこのテクノロジーを扱う際に、より快適で自信を持てるようになります。
スケーラブルで適応性の高いインフラストラクチャ
Dolly 2.0 は、ユーザーが好みのクラウドまたはオンプレミスインフラストラクチャにモデルをデプロイする自由を提供し、ニーズに最適なデプロイ環境を選択できる柔軟性を提供します。レイテンシの改善やスループットの向上が必要になった場合、ユーザーは追加のクラウドリソースをプロビジョニングすることで、オンデマンドでインフラストラクチャを簡単にスケールアップまたはスケールアウトできます。この動的なスケーリング機能は、特にワークロードが変動する組織にとって貴重です。このレベルのインフラストラクチャの柔軟性は、通常、管理サービス LLM では利用できません。管理サービス LLM では、ユーザーはプロバイダーのスケーリング機能に制限されます。
安全で機密性の高いデータ処理
金融や医療など、厳格なデータプライバシーと機密性の要件がある業界では、Dolly 2.0 は外部でホストされる管理サービス LLM よりも安全な代替手段を提供します。Dolly 2.0 モデルをファインチューニングする際、ユーザーは機密データをサードパーティプロバイダーに公開することなく実行できます。さらに、推論はユーザー自身の安全なサーバー内で完全に実行できるため、機密情報が制御された環境から離れることはありません。これは、ChatGPT のような管理サービスとは対照的です。ChatGPT では、ユーザーはサービスプロバイダーが必要なデータセキュリティ体制を維持し、関連規制を遵守していると信頼する必要があります。
制限のない商用利用
Dolly 2.0 の Apache 2.0 ライセンスは、ユーザーにいかなる制限もなく、商業目的でモデルを使用する自由を付与します。このオープンで寛容なライセンスにより、組織はロイヤリティを支払ったり、複雑なライセンス契約を結んだりすることなく、Dolly 2.0 モデルを活用した製品を自由に販売したり、サービスを展開したりできます。この柔軟性は、他のオープンソースの大規模言語モデルでは常に存在するわけではありません。他のモデルでは、より制限の厳しい使用条件が付随したり、特定の商用アプリケーションに対してライセンス料が必要になる場合があります。
Dolly 2.0 の商用アプリケーション
カスタマイズ可能な AI アシスタント
Dolly 2.0 はオープンソースで商用利用可能な指示追従型言語モデルであるため、組織はこれを活用して特定のニーズに合わせた AI アシスタントを構築できます。汎用的なチャットボットやアシスタントに制限されるのではなく、企業は Dolly 2.0 をファインチューニングしてカスタマイズし、従業員や顧客にドメイン固有のサポートを提供できます。
例えば、金融サービス会社は Dolly 2.0 を取得し、社内のポリシー、製品情報、カスタマーサービスデータについてさらにトレーニングできます。これにより、アカウント管理から投資アドバイスに至るまで、幅広い顧客の問い合わせを処理できる、高度にパーソナライズされた AI アシスタントを展開でき、すべて企業標準に準拠した状態を維持できます。
コンテンツ作成とアイデア出し
Dolly 2.0 の幅広い指示追従機能は、コンテンツ作成やアイデア出しのタスクに適しています。マーケティング、広告、メディアなどの分野の企業は、Dolly 2.0 を使用して記事、ソーシャルメディア投稿、クリエイティブブリーフなどの初期ドラフトを生成できます。情報を要約し、新しいアイデアをブレインストーミングするモデルの能力は、コンテンツ制作プロセスを大幅に加速する可能性があります。
例えば、マーケティング代理店は Dolly 2.0 を活用してキャンペーンコンセプトを迅速にプロトタイプ化し、ソーシャルメディアのサンプルコピーを作成し、タグラインやスローガンなどの初期クリエイティブアセットを生成できます。人間はその後、モデルの出力を特定のブランドやメッセージ要件に合わせて洗練し、磨きをかけることができます。
自動データ分析
市場調査会社やビジネスインテリジェンスチームなど、大規模なデータセットを持つ組織は、Dolly 2.0 を使用して特定のデータ分析およびレポートタスクを自動化できます。テキストから重要な情報を抽出し、対象を絞った質問に答え、洞察を要約するモデルの能力は、人間が検証して拡張できる初期の分析結果を生成するのに役立ちます。
これにより、生データを実用的なインテリジェンスに変換するために必要な時間と労力を削減でき、アナリストは低レベルなデータ処理ではなく、高レベルの解釈と戦略的な推奨事項に集中できるようになります。
Dolly 2.0 のオープンソースで商用利用に優しい性質は、業界を問わず幅広い潜在的なユースケースを開き、組織が独自のニーズと優先事項を満たすカスタマイズされた AI ソリューションを作成できるようにします。Databricks が強調してきたように、このアプローチは、高度な言語モデルの利点が、少数の大規模テクノロジー企業だけでなく、より広いコミュニティにアクセス可能であることを保証することを目的としています。
Dolly 2.0 の始め方
モデルをトレーニングせずに Dolly 2.0 の使用を開始したい場合の手順は以下の通りです。
- 事前トレーニング済みの Dolly 2.0 モデルは、Hugging Face で
databricks/dolly-v2-12bとして利用可能です。
2. A100 GPU を搭載したマシンで Transformers ライブラリを使用してモデルを使用するには：
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)
その後、instruct_pipeline を使用して指示に対する応答を生成できます。
3. 他の GPU インスタンスの場合：
(1) A10 GPU：
- 6.9B および 2.8B パラメータモデルはそのまま動作するはずです。
- 12B パラメータモデルの場合は、8 ビット重みを使用してモデルをロードおよび実行する必要があり、結果にわずかに影響を与える可能性があります。
(2) V100 GPU：
pipeline()コマンドでtorch_dtype=torch.float16を設定し、torch.bfloat16の代わりに使用します。- 12B パラメータモデルは V100 では 8 ビットでうまく機能しない可能性があります。
重要なポイントは、事前トレーニング済みの Dolly 2.0 モデルが Hugging Face で利用可能であり、Transformers ライブラリを使用してモデルをロードし、応答生成に使用できることです。ただし、具体的な設定は手元の GPU ハードウェアに応じて調整する必要がある場合があります。詳細については、GitHub の databrickslabs/dolly をご覧ください。
Dolly 2.0 の制限と欠点
Dolly 2.0 は、オープンソースで商用利用可能な指示追従型言語モデルとして重要な進歩を表していますが、限界がないわけではありません。
言語の制限
1 つの重要な欠点は、英語以外の言語での広範なトレーニングが不足していることです。Dolly 2.0 もその基盤となる Pythia バックボーンも、非英語データセットで広範にトレーニングされていません。つまり、多言語機能を必要とするアプリケーションは、他の言語のニュアンスを捉えるためにかなりのファインチューニング努力を必要とする可能性が高く、考慮すべき無数の言語的特徴を考慮すると、これは実行可能な戦略ではないかもしれません。
コンテキストの制約
もう 1 つの制限は、Dolly 2.0 の比較的狭いトークンウィンドウである 2,048 トークンです。これは、多くの管理言語モデルでサポートされている最大 32,000 トークン以上のコンテキストサイズよりも大幅に小さいです。長文ドキュメントの要約など、大きな入力を伴うユースケースでは、Dolly 2.0 はチャンク分割戦略を必要とする可能性があり、一度に処理できるコンテキストが限られているため、最適ではない結果を生み出す可能性があります。
スケーラビリティの懸念
さらに、現在の Dolly 2.0 モデルはまだ 1,000 億パラメータの範囲にまでスケールアップされておらず、一部のアプリケーションでは ChatGPT などのモデルの機能と競合するためにこれが必要になる場合があります。このサイズの制約により、最も強力な言語モデルが必要とされる、特定の重要度の高い、またはミッションクリティカルなシナリオでの Dolly 2.0 のパフォーマンスが制限される可能性があります。
進行中の制限
Databricks はまた、活発に開発中の研究指向モデルとして、Dolly 2.0 には他にも様々な制限がある可能性があることを認めています。これには、複雑なプロンプトの処理、オープンエンドの質問応答、ライティングタスクの適切なフォーマット、コード生成、数学的操作、一貫したユーモアやライティングスタイルの維持における困難が含まれます。これらの欠点は、さらなる反復と改良を通じて対処される可能性が高いですが、Dolly 2.0 を特定のアプリケーションに検討する際に、ユーザーが認識すべき現在の制約を表しています。
Dolly 2.0 の限界を克服する
Dolly 2.0 のようなオープンソースモデルは重要な進歩を表していますが、現実世界での適用性を制限する可能性のある大きな限界が依然としてあります。これらの限界を克服するために、Novita AI は、組織が真にカスタマイズされた AI ソリューションを構築するために必要な柔軟性と機能を提供する、包括的な LLM API を提供しています。
モデルの多様性とカスタマイズ
LLM API の中核は、単一の事前トレーニング済みオプションだけでなく、さまざまな大規模言語モデルから選択できることです。つまり、グローバルアプリケーション向けの多言語バリアント、ミッションクリティカルなタスク向けの高パラメータモデル、業界固有のニーズに特化したドメインチューニングバージョンなど、特定のユースケースに最適なモデルを選択できます。
しかし、モデル選択は始まりに過ぎません。API では、慎重に作成されたプロンプトを使用して、選択した LLM のトーン、性格、動作を体系的に変更することもできます。モデルの応答パターンを微調整することで、ユーザーや顧客と効果的に関わるために必要な正確な声、共感、専門知識を AI アシスタントに確実に持たせることができます。
高度なパラメータ制御
モデルとプロンプトのカスタマイズに加えて、LLM API はきめ細かな制御をユーザーの手に委ねます。temperature、top_p、presence_penalty、最大トークン数などの主要パラメータを調整して、特定のアプリケーション要件に合わせてモデルの出力を最適化できます。このレベルの調整により、創造性、一貫性、簡潔さの完璧なバランスを実現できます。
シームレスなキャラクター統合
ユーザーエクスペリエンスをさらに向上させるために、LLM API はエンドユーザーと会話できるカスタムキャラクターの統合をサポートしています。これらのキャラクターは、ブランド、業界、ターゲットオーディエンスに合わせて設計でき、より没入感のあるパーソナライズされたインタラクションの作成に役立ちます。大規模言語モデルのパワーと親しみやすいキャラクターの馴染み深さを組み合わせることで、視聴者に真に響く AI アシスタントを構築できます。
結論
Dolly 2.0 は、商業的に制限された指示追従型言語モデルに代わる有望なオープンソースの代替手段を提供しますが、限界がないわけではありません。組織は、Dolly 2.0 を採用する前に、特定のユースケースと要件のコンテキストでその機能と制約を慎重に評価する必要があります。Dolly 2.0 やその他のオープンソース言語モデルの限界を克服するために、Novita AI の包括的な LLM API は強力なソリューションを提供できます。
Novita AI は、無限の創造性を実現するワンストッププラットフォームであり、100 以上の API にアクセスできます。画像生成から言語処理、オーディオ強化、動画操作まで、低コストの従量課金制で、GPU メンテナンスの手間から解放されながら、独自の製品を構築できます。無料でお試しください。
