はじめに
人工知能分野は、さまざまなセクターでの需要の高まりにより、急速な拡大と多様化を遂げています。Databricks Dolly は、大規模言語モデル（LLM）の分野で重要な競争相手として台頭しており、ChatGPT や Google Bard などの既存のプレーヤーに代わる選択肢を提供しています。エンタープライズ向けの LLM オプションを評価する際には、Dolly のようなモデルが市場でどのような位置づけにあるかを理解することが重要です。この理解は、インフラストラクチャ、ビジネス目標、運用ニーズに沿った情報に基づいた意思決定を行うのに役立ちます。
AI テクノロジーはより高度でアクセスしやすいものへと進化し、テクノロジーが急速に成熟するにつれて、広範な採用と認知につながっています。市場では、高度な分析や自動化ツールから、AI を活用したカスタマーサービスやマーケティングソリューションに至るまで、AI を搭載した製品やサービスが急増しています。
Databricks Dolly とは？
Databricks Dolly は、自然言語の指示に従うように設計された オープンソースの大規模言語モデル として際立っており、要約、質問応答、ブレインストーミングなどのタスクに対して生成テキスト応答を提供します。ChatGPT のようなクローズドなオプションとは対照的に、Databricks Dolly（正式名称 Databricks Dolly 2.0）は、Databricks の従業員からクラウドソーシングされたトレーニングデータセットを使用して微調整されています。この 120 億パラメータモデルは、2023 年 3 月から 4 月にかけて 5,000 人を超える Databricks 従業員によって提供された 13,000 以上の指示追従行動のデモンストレーションに基づいて開発されました。
以下の動画をご覧ください：
Databricks Dolly 2.0 vs 1.0
Databricks Dolly 2.0 を発表したブログで、同社はオープンソースモデルとカスタムデータセットを利用する選択を明確にし、「API アクセス料金を支払ったり、外部とデータを共有したりする必要なく」組織が独自の大規模言語モデルを構築または調整できる自由を得られると強調しました。
Databricks は、その微調整用指示データセット databricks-dolly-15k を「ChatGPT のようなインタラクティブな魅力を大規模言語モデルに吹き込むために特別に作成された、初のオープンソースで人間が生成した指示データセット」として強調しています。2023 年 3 月に発表された前身の Dolly 1.0 は、ChatGPT の出力を含み、半分のパラメータのモデルでトレーニングされ、限られた 5 万件の応答/ペアデータセットで微調整され、商用利用ライセンスがありませんでした。一方、2023 年 4 月に発表された Dolly 2.0 は、120 億パラメータのオープンソースモデル（EleutherAI 製）でトレーニングされ、そして重要なことに、クラウドソーシング/人間が生成した質問と回答のペアにより、商用展開が可能です。
Databricks Dolly 2.0 の採用を検討している企業は、データセットの信頼性を確信できます。Databricks はデータと回答セットの作成に明確なガイドラインを設定し、すべての回答が人間によって生成されたユニークな応答であることを保証しました。
誰が Databricks Dolly を使うべきか？
Dolly のユニークなセールスポイントは、そのオープンソースのデータセットにあり、特定のユースケースに合わせた AI ソリューションを開発しようとする企業にとって明確な利点があります。以下は、Databricks Dolly が特に適している可能性のあるシナリオです。
- 厳格なデータコンプライアンス規制の対象となる企業：Dolly は API に依存しないオープンソースの性質により、規制の厳しいセクターの組織が、API に依存するツールに典型的なデータセキュリティやコンプライアンスの問題を引き起こすことなく、AI ソリューションを作成することを可能にします。
- AI 研究者や開発者：Dolly は堅牢でありながら非常に適応性の高いプラットフォームを提供し、研究者や開発者が必要に応じてモデルを迅速に調整することを可能にします。この柔軟性は、革新と実験の可能性を高めます。
- 既存の質問応答ソリューションの強化：既存のソリューションからの質問応答ペアを統合するために Databricks Dolly の構造を活用することは、理想的なアプリケーションです。例えば、Q&A を中心に構成されたテクニカルサポートデータベースを、Dolly の機能を使ってインタラクティブな体験に変換することが可能です。
真にオープンな大規模言語モデル
顧客は一貫して、自分たちのモデルを所有し、機密データを第三者に妥協することなく、ドメイン固有のアプリケーションに合わせた高品質なモデルを開発できることを望んでいると述べてきました。
バイアス、説明責任、AI 安全性といった重要な問題に取り組むには、少数の大企業だけに頼るのではなく、多様な利害関係者コミュニティの関与が必要であると考えられています。オープンソースのデータセットとモデルは、コメント、研究、革新を促進し、誰もが人工知能技術の進歩から恩恵を受けられる環境を育みます。
技術的で研究用の成果物として、Dolly は効果の点で最先端にあるとは期待されていません。しかし、Dolly とオープンソースデータセットの両方が、その後の多くの研究の基盤として機能し、さらに強力な言語モデルの開発を触媒する可能性があります。
Databricks Dolly のユースケース
公式ブログでは、Databricks Dolly のいくつかのアプリケーションとユースケースが紹介されています。
- オープン Q&A：例としては、「なぜ人々はコメディ映画を楽しむのですか？」や「フランスの首都はどこですか？」などの質問があります。明確な答えがない質問もあれば、世界についての広範な理解を引き出す必要がある質問もあります。
- クローズド Q&A：これらの質問は、与えられた参照テキスト内の情報のみを使用して答えることができます。例えば、原子に関する Wikipedia の記事の段落が与えられた場合、「原子核内の中性子に対する陽子の比率は？」と尋ねることができます。
- Wikipedia からの情報抽出：このタスクでは、注釈担当者が Wikipedia の記事から段落を選択し、その段落に含まれる重さや測定値などのエンティティや事実の詳細を特定します。
- Wikipedia からの情報要約：注釈担当者は、Wikipedia の一節を簡潔な要約に凝縮する任務を負います。
- ブレインストーミング：これには、自由形式のアイデアを生成し、潜在的なオプションのリストを提供することが含まれます。例：「今週末に友達とできる楽しい活動にはどんなものがありますか？」
- 分類：注釈担当者は、リスト内のアイテムを動物、鉱物、野菜に分類したり、短い文章の特性（映画レビューの感情など）を評価したりするなど、クラスの所属を決定します。
- クリエイティブライティング：このカテゴリのタスクには、詩の作成やラブレターの作成が含まれます。
databricks-dolly-15k でのオープン Q&A の例
Databricks Dolly のインストール方法
Dolly 2.0 モデルの重みをダウンロードするには、Databricks Hugging Face ページにアクセスし、databricks-labs の Dolly リポジトリにアクセスして databricks-dolly-15k データセット をダウンロードしてください。
Databricks Dolly LLM の制限事項
Databricks Dolly LLM のオープンソースモデルは、特に高度にターゲットを絞った商用アプリケーションにおいて多くの利点を提供しますが、万能なソリューションではありません。ChatGPT などのより大規模でクローズドなモデルと比較して、Dolly のトレーニングセットは小さいため、出力の洗練度が低くなる可能性があります。言語の制限も顕著です。現在、Dolly 2.0 は英語での応答のみに制限されています。
オープンソース LLM をデプロイすると、知識の要件に関する懸念も生じます。多くの場合、AI ソリューションのトレーニングと活用に関する徹底的な理解、およびエンタープライズ環境内でのかなりの計算リソースが必要です。対照的に、クローズドな生成 AI モデルは通常、すぐに使用でき、カスタムソリューションと統合できる状態になっています。商業的実行可能性とリソースの制約に関する考慮事項のバランスを取ることで、適切なモデルの選択が決まることがよくあります。
一方、オープンソース LLM を使用する場合、プライベート情報は保証できません。安全で信頼性が高く、費用対効果の高いクローズドソース LLM をお探しの場合は、当社の LLM をお選びいただけます：
そして、当社はすでに LLM API をリリースしており、お客様の LLM とシームレスに統合できます。最も安い価格とスケーラブルなモデルにより、Novita AI LLM 推論 API は、<2 秒という非常に低レイテンシで、驚くべき安定性を LLM に提供します。
当社の LLM API は、キャラクタープレイ機能も備えており、お気に入りのキャラクターカードをインポートすることで、そのキャラクターと何でも話すことができます。
どの大規模言語モデルが適しているか？
Databricks Dolly LLM の導入は、エンタープライズ向けに調整された、商業的に実行可能なオープンソース大規模言語モデルにおける重要な飛躍を示しています。すべてのシナリオに適しているわけではありませんが、エンタープライズレベルでの可能性は計り知れません。カスタムソリューションの開発、既存のツールの強化、新しい AI アプリケーションの開拓など、組織がオープンソースモデルを必要とする場合、Databricks Dolly は検討に値します。
Databricks Dolly 2.0 が特定の状況に適しているかどうかについてご質問がある場合、または Dolly LLM を効果的に活用するための支援が必要な場合は、Graphable までお気軽にお問い合わせください。当社のカスタム開発サービスは、お客様固有のエンタープライズ目標に沿ったソリューションの構想化と実現を支援します。
Databricks Dolly は、データ分析、予測モデリング、自動化のニーズに応える、多用途で堅牢かつユーザーフレンドリーなプラットフォームを提供します。その適用範囲は多様な業界や機能に及び、エンタープライズ環境で働くプロフェッショナルにとって非常に貴重なものとなっています。AI が進歩し続けるにつれて、データ駆動型の意思決定を合理化・強化する Dolly の役割はさらに拡大するでしょう。
結論
要約すると、Databricks Dolly LLM は、エンタープライズ向けに調整されたオープンソース大規模言語モデルにおける重要な進歩を提供します。すべてのシナリオに適しているわけではありませんが、特定のユースケース内でのカスタマイズと革新の可能性は非常に大きいものです。データの所有権を保持しながら、より高品質なモデルを求める組織にとって、Databricks Dolly は魅力的な選択肢となるでしょう。
ただし、トレードオフを考慮することが不可欠です。Databricks Dolly のようなオープンソースモデルは、柔軟性とコミュニティ主導のイノベーションを提供しますが、クローズドモデルと同じレベルの洗練度や言語カバレッジを常に提供できるとは限りません。信頼性、安全性、費用対効果のバランスを取る必要がある組織にとって、クローズドソース LLM は実行可能な代替手段となります。
最終的に、オープンソース LLM とクローズドソース LLM の選択は、組織の特定のニーズ、目的、リソースによって決まります。Databricks Dolly を選択するか、別のモデルを選択するかにかかわらず、データ駆動型の意思決定を効果的に強化するために、固有のエンタープライズ要件に沿った決定を下すことが重要です。
novita.ai は、100 以上の API にアクセスできる、無限の創造性のためのワンストッププラットフォームです。画像生成、言語処理、音声強調、動画操作に至るまで、低コストの従量課金制で、GPU メンテナンスの手間から解放されながら、独自の製品を構築できます。無料でお試しください。
おすすめの記事
