重點摘要
- 先進的雙語能力與推理：本模型基於 Yi-34B，在雙語任務與複雜推理上表現優異。
- 創新訓練與前所未有的上下文長度：使用 200K 上下文長度的 Capybara 資料集進行訓練，提供深入的上下文理解與精準回應。
- 多功能性與多模態能力：可處理多輪對話，並透過 Obsidian 整合多模態處理，效能可媲美較大的 7B 模型。
- 資料完整性與實務應用：透過嚴謹檢查確保資料集完整性，並支援多樣應用，如進階語言理解、精緻聊天機器人與多模態分析。
- NousResearch 的其他 LLM：Nous-Hermes-2-Mixtral-8x7B-DPO、nous-hermes-llama2–13b 以及 hermes-2-pro-llama-3–8b 現已上架 Novita AI。
引言
歡迎來到 Nous Capybara 34B 模型的世界，這是一款突破性的 AI 模型，不僅具備雙語能力，更擅長理解與推理。
在這篇部落格中，我們將深入探討這個模型的細節，它建立在強大的 Yi-34B 之上，並擁有前所未有的 200K 上下文長度。我們將介紹其技術細節、獨特功能、實務應用，以及 NousResearch 的其他模型。現在，就讓我們一起探索 Nous Capybara 34B 模型的潛力。
探索 Nous Capybara 34B 模型
Nous Capybara 34B 模型是基於 Yi-34B 模型，使用 200K 上下文長度，在 Capybara 資料集上進行了 3 個 epoch 的訓練。
Yi-34B
由 01.AI 開發的 Yi-34B 模型是專為雙語語言模型設計的，基於龐大的 3TB 多語語料庫進行訓練，使其成為全球最強大的 LLM 之一。
Yi-34B 在語言理解、常識推理與閱讀理解等多種語言任務中表現出色。其能力體現在 AlpacaEval 排行榜上的優異表現，Yi-34B-Chat 模型位居第二，僅次於 GPT-4 Turbo，並超越了其他領先的 LLM，如 GPT-4 與 Mixtral。此外，Yi-34B 模型在 Hugging Face Open LLM 排行榜與 C-Eval 中，被評為英語與中文開源模型中的頂尖模型。
同類首創
- 首個 34B Nous 模型：這是 Nous 系列中的開創性模型，標誌著 AI 發展的重要里程碑。
- 首個 200K 上下文長度模型：其處理大範圍上下文的能力樹立了新標準，提供更深入的理解與更細膩的回應。
訓練與資料集
Capybara 模型中的大多數 token 來自新的合成資料，主要源自 Puffin 與 Dove 等資料集。然而，我們也必須承認單輪資料集作為「種子」的作用，這些種子被用於 Amplify-Instruct 合成流程中以建立多輪對話。下方列出的綠色資料集是我們在此專案中選取合成種子的來源，而藍色資料集則是在開發 Capybara 之前就已存在的精選資料集。
開發團隊與致謝
- 領導團隊：由 Luigi D. (LDJ) 帶領，並獲得 J-Supha 與 Jeffrey Q. 的支持，團隊的專業知識在模型的能力中展露無遺。
- 贊助：感謝 A16Z 與 Yield Protocol 的支持，使研究與開發過程得以順利進行。
Nous Capybara 34B 的主要特色
Yi-34B 基礎模型
建立在堅實的基礎之上，能夠處理廣泛上下文與複雜任務。
多輪對話
超過 60% 的資料集專注於多輪對話，這相較於僅訓練單輪互動的模型是一大優勢。
進階摘要
經過訓練能有效摘要複雜的主題與研究，展現其進階推理能力。
歷史回憶
無需網路連線即可回憶至 2022 年底的資訊，展現其廣泛的知識庫。
多模態
Nous Capybara 34B 模型透過其多模態擴充 Obsidian-3B-V0.5，引入了處理與理解文字和視覺資料的突破性能力。Obsidian 建立在 Capybara-3B-V1.9 的堅實基礎上，並運用了 StableLM-3B-4e1t，成為世界上最小的多模態大型語言模型，其最先進的效能可與某些 7B 模型匹敵。
確保 Capybara 資料集的完整性
開發人員針對常見的基準測試進行了資料污染影響檢查。以下是他們採取的措施摘要：
污染檢查
他們進行了徹底的檢查，以確保 Capybara 資料集不包含來自其他熱門資料集的任何污染。
Minhash 技術
他們使用 minhash 技術將自己的資料集與其他基準進行比較。這項技術有助於識別資料集之間的相似性。
相似度級別
開發人員檢查了 100%、99%、98% 和 97% 等多個級別的相似度匹配。這種全面的方法確保了即使是接近的匹配也被識別並處理。
已檢查的基準
他們特別針對 HumanEval、AGIEval、TruthfulQA、MMLU 和 GPT4All 等基準進行檢查，以確保他們的資料集不包含來自這些來源的任何資料。
無完全匹配
他們的努力結果是：在低至 97% 的相似度級別中都沒有發現完全匹配或接近匹配的情況，這表明 Capybara 資料集沒有受到污染。
開發者使用 Nous Capybara 34B 的實際應用
鑑於 Nous Capybara 34B 模型的優勢，以下是對開發者最相關的一些應用：
進階語言理解
利用模型的雙語能力來開發需要深入理解英語與中文的應用程式，例如多語言搜尋引擎、翻譯服務與跨文化內容分析工具。
精緻的聊天機器人
將模型應用於客戶服務聊天機器人，使其能夠處理複雜的查詢並在多輪對話中維持上下文，提供更接近人類的互動。
自動化內容生成
運用模型生成進階摘要與複雜內容的能力，來自動化報告撰寫、文章改寫或社群媒體內容創作。
教育與學習
利用模型的理解技能來開發自適應學習平台，提供個人化的教育內容與互動問答環節。
多模態分析
透過 Obsidian 擴充，建立能分析與解讀視覺及文字資料的應用程式，適用於電子商務或媒體管理中的圖像標記、描述與檢索系統。
資料驅動洞察
使用模型的複雜摘要能力來開發商業智慧工具，分析大型資料集並生成可行的洞察以輔助決策。
語意搜尋
將模型整合到搜尋應用程式中，透過理解查詢的語意上下文來增強搜尋結果，提高準確性與相關性。
知識庫建構
使用模型來建立與維護動態知識庫，持續從各種來源更新新資訊。
Nous Capybara 34B 的未來發展
擴展規模
目前已有 3B、7B 和 34B 版本，未來計劃推出 13B、70B 版本，以及可能基於 phi-1.5 或 Tiny Llama 的 1B 模型。
即將發布的基準
基準測試結果即將發布，以評估模型在業界標準下的表現。
NousResearch 還開發了哪些其他模型
Novita AI 為開發者提供一系列 LLM API 選項，其中包含 NousResearch 開發的模型。Novita AI LLM API 提供超參數調整與可自訂的系統提示功能，以滿足個人需求。
在 Novita AI 上的 Nous-Hermes-2-Mixtral-8x7B-DPO
Nous Hermes 2 Mixtral 8x7B DPO 是 Nous Research 基於 Mixtral 8x7B MoE LLM 訓練的新旗艦模型。該模型在超過 1,000,000 筆資料上進行訓練，主要為 GPT-4 生成的資料，以及其他來自 AI 領域的優質開放資料，在多項任務上實現了最先進的效能。
在 Novita AI 上的 nousresearch/nous-hermes-llama2–13b
Nous-Hermes-Llama2–13b 是一款基於超過 300,000 條指令微調的最新語言模型。該模型由 Nous Research 微調，Teknium 與 Emozilla 領導微調流程與資料集策劃，Redmond AI 贊助運算資源，還有其他多位貢獻者。
在 Novita AI 上的 nousresearch/hermes-2-pro-llama-3–8b
Hermes 2 Pro 是 Nous Hermes 2 的升級版與重新訓練版本，包含更新且清理過的 OpenHermes 2.5 資料集，以及內部開發的新功能：函式呼叫與 JSON 模式資料集。
結論
從基於 Yi-34B 模型與 Capybara 資料集的基礎訓練開始，Nous Capybara 34B 因其在各種領域中處理廣泛上下文與複雜任務的能力而脫穎而出。多輪對話處理、進階摘要能力，以及透過 Obsidian 擴充實現的多模態處理等關鍵功能，凸顯了其多功能性與精細度。此外，透過污染檢查確保資料集完整性的嚴格努力，也鞏固了其實際應用的可靠性。
展望未來，Nous Capybara 34B 模型的後續發展將帶來更強大的能力，包括擴展規模與即將推出的基準測試以驗證其在業界標準下的表現。作為 Novita AI 產品的一部分，連同 NousResearch 開發的其他模型如 Nous Hermes 2 Mixtral 8x7B DPO 與 Nous-Hermes-Llama2–13b，該模型代表了 AI 驅動解決方案演進中的一個基石。
Novita AI 是一站式雲端平台，助您實現 AI 抱負。透過無縫整合的 API、無伺服器運算與 GPU 加速，我們提供具成本效益的工具，助您快速建置與擴展 AI 驅動的業務。告別基礎設施煩惱，免費開始體驗 — Novita AI 讓您的 AI 夢想成真。
推薦閱讀
