主なハイライト
- 高度なバイリンガル能力と推論: Yi-34B をベースに構築され、バイリンガルタスクと複雑な推論に優れています。
- 革新的なトレーニングと前例のないコンテキスト長: Capybara データセットを使用して 200K のコンテキスト長でトレーニングされ、深い文脈理解と正確な応答を実現します。
- 汎用性とマルチモーダル機能: マルチターン対話を処理し、Obsidian を介してマルチモーダル処理を統合し、より大きな 7B モデルに匹敵するパフォーマンスを達成します。
- データの完全性と実用的なアプリケーション: 厳格なチェックを通じてデータセットの完全性を確保し、高度な言語理解、高度なチャットボット、マルチモーダル分析などの多様なアプリケーションをサポートします。
- NousResearch によるその他の LLM: Novita AI 上の Nous-Hermes-2-Mixtral-8x7B-DPO、nous-hermes-llama2–13b、hermes-2-pro-llama-3–8b。
はじめに
Nous Capybara 34B モデルの世界へようこそ。この画期的な AI モデルは、バイリンガルであるだけでなく、理解と推論にも優れています。
このブログでは、このモデルの詳細について掘り下げていきます。このモデルは、強力な Yi-34B をベースに、前例のない 200K コンテキスト長でトレーニングされています。技術的な詳細、独自の機能、実用的なアプリケーション、そして NousResearch の他のモデルについても探っていきます。それでは、Nous Capybara 34B モデルの可能性を発見する旅に出ましょう。
Nous Capybara 34B モデルの探索
Nous Capybara 34B モデルは、Yi-34B モデルをベースに、200K コンテキスト長で Capybara データセットを 3 エポックトレーニングしたものです。
Yi-34B
01.AI による Yi-34B モデルは、バイリンガル言語モデルとして特別に設計されており、広範な 3TB の多言語コーパスでトレーニングされています。これにより、世界的に見ても最も強力な LLM の 1 つとして位置づけられています。
Yi-34B は、理解、常識推論、読解などのさまざまな言語タスクに優れています。その能力は、AlpacaEval Leaderboard での印象的なパフォーマンスによって証明されています。Yi-34B-Chat モデルは GPT-4 Turbo に次ぐ 2 位を獲得し、GPT-4 や Mixtral などの他の主要な LLM を上回りました。さらに、Yi-34B モデルは、Hugging Face Open LLM Leaderboard や C-Eval で指摘されているように、英語と中国語の両方のさまざまなベンチマークで、すべてのオープンソースモデルの中でトップランキングを獲得したことが認められています。
初の試み
- 初の 34B Nous モデル: Nous シリーズ初のモデルであり、AI 開発における重要なマイルストーンを示します。
- 初の 200K コンテキスト長モデル: 広範なコンテキストを処理する能力により、より深い理解とよりニュアンスのある応答を提供し、新たな標準を打ち立てます。
トレーニングとデータセット
Capybara モデルのトークンの大部分は、主に Puffin や Dove などのデータセットからの新しい合成の結果です。ただし、Amplify-Instruct 合成プロセス内でマルチターン会話を作成するための基盤、つまり「シード」として機能したシングルターンデータセットの役割を認識することが重要です。緑色のデータセットは、このプロジェクトの合成のためにシードを選択したソースであり、青色のデータセットは、Capybara の開発前にすでに整備されていたキュレーションされたコレクションを表します。
開発チームと謝辞
- リーダーシップ: Luigi D. (LDJ) が率い、J-Supha と Jeffrey Q. がサポートしており、チームの専門知識がモデルの能力に表れています。
- スポンサーシップ: 研究開発プロセスを促進した A16Z と Yield Protocol のサポートに感謝します。
Nous Capybara 34B の主な機能
Yi-34B ベースモデル
強固な基盤の上に構築されており、広範なコンテキストと複雑なタスクを処理できます。
マルチターン会話
データセットの 60% 以上がマルチターン対話に焦点を当てており、シングルターンインタラクション向けにトレーニングされたモデルよりも大きな利点があります。
高度な要約
複雑なトピックや研究を効果的に要約するようにトレーニングされており、高度な推論能力を示しています。
過去の記憶
インターネットがなくても 2022 年後半までの情報を思い出すことができ、広範な知識ベースを示しています。
マルチモダリティ
Nous Capybara 34B モデルは、マルチモーダル拡張機能 Obsidian-3B-V0.5 を通じて、テキストデータと視覚データの両方を処理および理解するための画期的な機能を導入します。Capybara-3B-V1.9 の強固な基盤の上に構築され、StableLM-3B-4e1t を活用する Obsidian は、世界最小のマルチモーダル大規模言語モデル (LLM) として際立っており、一部の 7B モデルに匹敵する最先端のパフォーマンスを提供します。
Capybara データセットの完全性の確保
開発者は、一般的なベンチマークに関するいくつかのデータ汚染の影響を調査しました。彼らが取った手順の概要は次のとおりです。
汚染チェック
Capybara データセットに他の一般的なデータセットからの汚染が含まれていないことを確認するための徹底的なチェックを実行しました。
Minhash 手法
minhash 手法を利用して、データセットを他のベンチマークと比較しました。この手法は、データセット間の類似性を特定するのに役立ちます。
類似性レベル
開発者は、100%、99%、98%、97% など、さまざまなレベルでの類似性一致をチェックしました。この包括的なアプローチにより、類似した一致でも特定され、対処されることが保証されました。
チェックされたベンチマーク
HumanEval、AGIEval、TruthfulQA、MMLU、GPT4All などのいくつかのベンチマークに対して特にチェックし、データセットにこれらのソースからのデータが含まれていないことを確認しました。
完全一致なし
その結果、97% の類似性レベルまで完全一致や類似一致は見つからず、Capybara データセットに汚染がないことが示されました。
開発者向け Nous Capybara 34B の実用的なアプリケーション
Nous Capybara 34B モデルの強みを考慮すると、開発者にとって最も関連性の高いアプリケーションは次のとおりです。
高度な言語理解
多言語検索エンジン、翻訳サービス、異文化コンテンツ分析ツールなど、英語と中国語の深い理解を必要とするアプリケーションを開発するために、モデルのバイリンガル機能を活用します。
高度なチャットボット
複雑なクエリを処理し、マルチターン会話でコンテキストを維持できるカスタマーサービスチャットボットにモデルを実装し、より人間らしいインタラクションを提供します。
自動コンテンツ生成
高度な要約や複雑なコンテンツを生成するモデルの能力を適用して、レポート作成、記事のリライト、ソーシャルメディアコンテンツの作成を自動化します。
教育と学習
モデルの理解スキルを活用して、パーソナライズされた教育コンテンツとインタラクティブな Q&A セッションを提供する適応型学習プラットフォームを開発します。
マルチモーダル分析
Obsidian 拡張機能を使用して、視覚データとテキストデータの両方を分析および解釈するアプリケーションを作成します。これは、e コマースやメディア管理における画像タグ付け、説明、検索システムに役立ちます。
データ駆動型インサイト
複雑な要約のモデルの機能を使用して、大規模なデータセットを分析し、意思決定のための実用的なインサイトを生成するビジネスインテリジェンスツールを開発します。
セマンティック検索
クエリのセマンティックコンテキストを理解して検索結果を強化し、精度と関連性を向上させるために、検索アプリケーションにモデルを統合します。
知識ベースの構築
モデルを使用して、さまざまなソースからの新しい情報で継続的に更新される動的な知識ベースを構築および維持します。
Nous Capybara 34B の今後の展開
サイズの拡大
現在のバージョンは 3B、7B、34B ですが、13B、70B、および phi-1.5 または Tiny Llama に基づく可能性のある 1B モデルの計画が進行中です。
今後のベンチマーク
業界標準に対するモデルのパフォーマンスを評価するためのベンチマークの公開が間もなく予定されています。
NousResearch によって開発された他のモデル
Novita AI は、NousResearch によって開発されたモデルを特徴とする、開発者向けのさまざまな LLM API オプションを提供しています。Novita AI LLM API には、ハイパーパラメータ調整とカスタマイズ可能なシステムプロンプトの機能が含まれており、個々のニーズに合わせて調整されています。
Novita AI 上の Nous-Hermes-2-Mixtral-8x7B-DPO
Nous Hermes 2 Mixtral 8x7B DPO は、Mixtral 8x7B MoE LLM でトレーニングされた新しい主力 Nous Research モデルです。このモデルは、主に GPT-4 が生成したデータの 1,000,000 以上のエントリと、AI 環境全体のオープンデータセットからの他の高品質データでトレーニングされており、さまざまなタスクで最先端のパフォーマンスを達成しています。
Novita AI 上の nousresearch/nous-hermes-llama2–13b
Nous-Hermes-Llama2–13b は、300,000 以上の命令で微調整された最先端の言語モデルです。このモデルは Nous Research によって微調整され、Teknium と Emozilla が微調整プロセスとデータセットキュレーションを主導し、Redmond AI が計算をスポンサーし、他のいくつかの貢献者が参加しました。
Novita AI 上の nousresearch/hermes-2-pro-llama-3–8b
Hermes 2 Pro は、Nous Hermes 2 のアップグレードされた再トレーニングバージョンであり、OpenHermes 2.5 データセットの更新およびクリーンアップされたバージョンと、社内で開発された新しく導入された関数呼び出しおよび JSON モードデータセットで構成されています。
結論
Yi-34B モデルと Capybara データセットでの基礎トレーニングから始まり、Nous Capybara 34B は、さまざまなドメインにわたる広範なコンテキストと複雑なタスクを処理する能力で際立っています。マルチターン会話処理、高度な要約機能、Obsidian 拡張機能によるマルチモーダル処理などの主要な機能は、その汎用性と洗練性を強調しています。さらに、汚染チェックを通じてデータセットの完全性を確保するための厳格な取り組みにより、実用的なアプリケーションでの信頼性が強化されています。
今後、Nous Capybara 34B モデルの将来の開発により、拡大されたサイズと、業界標準に対するパフォーマンスを検証するための今後のベンチマークにより、さらに大きな機能が約束されています。Novita AI の提供品の一部として、Nous Hermes 2 Mixtral 8x7B DPO や Nous-Hermes-Llama2–13b など NousResearch によって開発された他のモデルも含めて、このモデルは AI 駆動型ソリューションの進化における基礎を表しています。
Novita AI は、AI の野心を強化するオールインワンのクラウドプラットフォームです。シームレスに統合された API、サーバーレスコンピューティング、GPU アクセラレーションにより、AI 主導のビジネスを迅速に構築および拡大するための費用対効果の高いツールを提供します。インフラストラクチャの頭痛から解放され、無料で始めましょう。Novita AI があなたの AI の夢を現実にします。
おすすめの記事
