重點摘要
- 技術進展：由 Nous Research 與 Teknium 和 Emozilla 共同開發，Hermes 13B 是一款基於 8x a100 80GB DGX 機器微調的模型，支援複雜任務，序列長度達 4096。
- 資料集與訓練：在超過 30 萬筆合成 GPT-4 輸出上訓練，這些資料來自 GPTeacher 和角色扮演資料集等來源，Hermes 13B 在可靠性與效能上表現出色。
- 基準測試表現：在 ARC-c、ARC-e、Hellaswag 和 OpenBookQA 排名第一，在 Winogrande 排名第二（與 GPT-4 模型相比），展現優異的基準測試成績。
- 關鍵特色：提供擴展式回應生成、減少幻覺，以及無限制討論能力，確保可靠性與多樣性。
- 實際應用：支援 AI 教學、技術文件自動化、劇本寫作、可自訂聊天機器人、學術研究、內容生成和互動式故事敘述。
- **API 整合 **：可輕鬆整合 Novita AI 以無縫存取 Hermes 13B 的能力，簡化開發與部署流程。
- 最佳化與更新：提供提升資料集品質、序列長度與模型參數的建議，以最大化效能，並強調隨時掌握最新進展。
簡介
想知道 Nous Research 最新傑作 Hermes 13B 的能耐嗎？好奇它與前代版本相比如何？讓我們一起深入探討 Hermes 13B 的技術規格、訓練資料洞見、實際應用及 API 設定。一起來揭開這些問題的答案吧。
認識 Hermes 13B
概覽
Hermes 13B（又稱 Nous-Hermes-Llama2–13b）是由 Nous Research 開發的尖端語言模型，在微調與資料集策劃方面，Teknium 和 Emozilla 貢獻卓著。該模型在超過 30 萬筆指令的龐大資料集上進行微調，旨在提升超越前代 Hermes on Llama-1 的能力。
技術規格
微調過程使用了 4096 的序列長度，這表示模型能處理複雜且長篇幅的輸入。訓練在 8x a100 80GB DGX 機器上進行，展現了開發過程中所投入的大量運算資源。
訓練資料
模型主要使用合成 GPT-4 輸出進行訓練，確保了高品質的知識保留與任務完成。該資料集是從多個來源精心策划而得，包括 GPTeacher、角色扮演資料集、程式碼指令資料集，以及未公開的資料如 Nous Instruct 與 PDACTL。
協作與致謝
模型的開發是一項協作成果，參與其中的關鍵貢獻者與組織包括 Teknium、Karan4D、Nous Research、Huemin Art 和 Redmond AI，特別感謝 Redmond AI 贊助運算資源。
提示與互動
模型遵循 Alpaca 提示格式，使用者可透過結構化的指令與回應部分與其互動。
效能基準測試
該模型已在多項基準測試中評估，包括 AGI-Eval、GPT-4All 基準測試集與 BigBench 推理測試。Hermes 13B 目前在 ARC-c、ARC-e、Hellaswag 和 OpenBookQA 排名第一，在 Winogrande 排名第二（與 GPT4all 的基準測試清單相比）。
關鍵特色與能力
增強式長篇回應生成
該模型經過微調，能產生詳細且篇幅較長的回應。此能力特別適用於需要全面答案的任務，例如寫作、摘要與深入解說。
降低幻覺率
語言模型中的「幻覺」指的是產生看似合理但實際上不正確的資訊。Hermes-Llama2–13b 經過微調以將此現象降至最低，確保回應更可靠且準確。
無審查機制
與一些內建內容審查機制的模型不同，Hermes-Llama2–13b 對可討論的主題沒有內建限制。這使得對話更開放，並降低模型迴避特定主題的可能性。
高品質資料集運用
該模型在源自高品質合成 GPT-4 輸出的精心策劃資料集上進行訓練，確保了知識與任務執行的紮實基礎。資料集的多樣性有助於模型在各領域的通用性與效能。
Hermes 13B 的實際應用
AI 家教系統開發
開發個人化電子學習平台，利用 Hermes 13B 生成動態互動式課程計畫，並根據個別學習者的需求提供詳細解說。
技術文件自動化
建立自動化生成技術文件的工具，例如 API 文件、系統架構圖與使用手冊，利用 Hermes 13B 對複雜技術概念的理解。
創意產業劇本寫作 API
為劇本作家建立 API 服務，使用 Hermes 13B 生成對話、劇情摘要與角色描述，適用於各種媒體格式，提升創意工作流程。
可自訂聊天機器人框架
設計一個用於建立客服聊天機器人的框架，可輕鬆利用 Hermes 13B 的對話式 AI 能力進行自訂，實現特定領域的互動。
學術寫作與研究助理
為研究人員實現 AI 助理，使用 Hermes 13B 撰寫學術論文、生成文獻回顧，並根據現有學術著作提出研究方向建議。
知識整合引擎
開發一個能整合不同領域資訊的系統，利用 Hermes 13B 理解並融合多元主題的能力，產出綜合報告或提供跨領域洞見。
數位行銷內容生成器
為行銷人員建立內容生成工具，利用 Hermes 13B 產出有吸引力的行銷素材、社群媒體貼文與廣告文案，並符合品牌指導方針。
互動式故事敘述平台
開發適用於遊戲或其他媒體的互動式故事敘述平台，讓 Hermes 13B 能根據使用者的選擇，編織出分支情節與角色互動。
設定 Hermes 13B LLM API
步驟 1：註冊帳戶
前往 Novita AI 網站，點擊頂端選單中的「Log In」按鈕。目前您可以使用 Google 或 GitHub 帳戶登入。登入後，您將獲得 $0.5 美元的免費額度！
步驟 2：產生 API 金鑰
若要驗證 API，請在請求標頭中加入 Bearer Token（例如 -H "Authorization: Bearer ***"）。我們將為您提供新的 API 金鑰。
您也可以透過選擇「Add new key」自行建立金鑰。
步驟 3：執行 API 呼叫
只需幾行程式碼，您就能進行 API 呼叫並利用 Hermes 13B 及其他進階模型的能力：
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: https://novita.ai/get-started/Quick_Start.html#_3-create-an-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "nousresearch/nous-hermes-llama2-13b"
completion_res = client.completions.create(
model=model,
prompt="A chat between a curious user and an artificial intelligence assistant".
stream = True, # or False
max_tokens = 512,
)
Hermes 13B 的類似模型
Novita AI 上的 Mythomax-l2–13b
Mythomax-l2–13b 的核心概念在於每一層由多個張量組成，各自負責特定功能。透過將 MythoLogic-L2 強大的理解能力作為輸入，並將 Huginn 廣泛的寫作能力作為輸出，最終模型在兩方面都表現出色。
Novita AI 上的 Hermes-2-pro-llama-3–8b
Hermes 2 Pro 是 Nous Hermes 2 的增強與重新訓練版本。它使用了更新且更精煉的 OpenHermes 2.5 資料集，以及內部新開發的函式呼叫與 JSON 模式資料集。
Novita AI 上的 Openhermes-2.5-mistral-7b
OpenHermes 2.5 Mistral 7B 是 Mistral 最先進的微調版本，延續 OpenHermes 2 模型，並在額外的程式碼資料集上進行訓練。
最大化模型效能
為了充分發揮 Hermes 13B 的潛力，了解如何正確調整非常重要。以下是一些能幫助您脫穎而出的要點：
確保高品質且多樣化的資料集
針對您的資料集，請確保在微調時其內容多樣且品質卓越。加入來自不同領域的指令，讓模型更好地理解並產生回應。
最佳化序列長度
在序列長度方面，建議維持在 2000 以下以獲得最佳結果。不過，不要害怕測試不同的長度；這可能有助於您在效能與回應長度之間找到最佳平衡點。
微調模型參數
對於模型參數，請根據您的具體需求進行調整。嘗試調整如 temperature 和 repetition penalty 等設定，以微調創造力與回應一致性。
保持最新狀態
關於更新：請定期查看 Hermes 13B 的最新版本，留意可能進一步提升效能的新版本或修正。
牢記這些要點並持續改進微調方法，您就能從 Hermes 13B 中榨取出每一分潛力，用於複雜的 AI 任務。
結論
總而言之，由 Nous Research 與其他單位合作開發的 Hermes 13B，代表了 AI 語言模型的一大躍進。
我們探討了其堅實的技術規格，包括處理長篇輸入的能力，以及微調背後龐大的運算資源。該模型在精心策劃的合成 GPT-4 輸出資料集上訓練，確保了在各領域的高品質表現，這也反映在許多基準測試的頂尖排名上。此外，其應用範圍從 AI 教學系統到數位行銷內容生成，展現了其多元性與實際應用的價值。
當您考慮在自己的專案中運用 Hermes 13B 時，請記得最佳化資料集品質、序列長度與模型參數的重要性，以最大化其潛力。隨時掌握最新進展，持續提升其效能。
常見問題
1. Hermes 13B 與先前版本有何差異？
首先，Hermes 13B 在產生較長回應方面有更好的能力。其次，您會發現它「幻覺」（胡亂編造）的頻率更低。第三，它沒有 OpenAI 那種限制它能說或能做的規則。此外，在各種語言任務中，它的表現都更出色。最後，這次他們在更大的資料混合集上進行了訓練。
2. 如何下載 Hermes 13B？
您可以在 Hugging Face 上免費下載 Hermes 13B 模型。
Novita AI 是全方位的雲端平台，能賦予您的 AI 雄心壯志。憑藉無縫整合的 API、無伺服器運算與 GPU 加速，我們提供具成本效益的工具，讓您快速建立並擴展 AI 驅動的業務。免除基礎設施的煩惱，免費開始使用 — Novita AI 讓您的 AI 夢想成真。
推薦閱讀
