引言
你是否曾想過，一個不受審查束縛的 AI 能達成什麼成就？又或者一個不僅能對話，還能創作、寫作、研究的 AI 模型？歡迎來到 Dolphin-2.1-mistral-7B 模型的領域——這款 LLM 體現了開源創新的力量，以及 AI 在多個領域展現潛力的可能性。在這篇部落格中，我們將探討 Dolphin-2.1-mistral-7B 模型的特性、本質，以及它為開發者開啟的實際應用。讓我們一起展開這趟旅程吧！
認識 dolphin-2.1-mistral-7B 模型
概述
由 a16z 贊助，並基於 Cognitive Computations 的開源協作原則所建構，這款模型以其未經審查的特性脫穎而出，允許更靈活、更具創意的 AI 互動。Dolphin-2.1-mistral-7B 模型採用 Apache-2.0 授權，可應用於商業與非商業用途，滿足多元使用者需求。
基礎與靈感
Dolphin-2.1-mistral-7B 模型是微軟 Orca 的開源實作，展現了對創新與社群驅動開發的承諾。其架構靈感來自 Transformer 型 AI 的最新進展，確保了最先進的效能與適應性。
訓練與資料集
Dolphin-2.1-mistral-7B 的訓練過程在高效能 A100 GPU 上進行了長達 48 小時的嚴謹訓練。其資料集是 Dolphin 資料集的修改版本，而 Dolphin 資料集則是微軟 Orca 資料集的開源實作。該資料集經過了強化與精煉，以提升模型的效能與多樣性：
- 去審查：過濾資料集以移除任何固有偏見或對齊限制，讓模型能更自由地回應各種提示。
- 去重：移除重複條目，確保訓練資料的多樣性與獨特性。
- 清理：徹底清理資料集，移除可能影響模型學習效率的雜訊或不相關資料。
- 品質提升：致力於提升資料集的整體品質，重點在於資料點的相关性與準確性。
- 納入外部資料集：為了進一步豐富資料集，整合了 Jon Durbin 的 Airoboros 資料集。此舉旨在提升模型的創造力與回應多樣性。
效能指標
該模型的能力透過其效能指標得以彰顯，這些指標反映了它在不同任務與評估中的熟練度，例如 ARC、HellaSwag、MMLU 等，展現了其全面的實力。
dolphin-2.1-mistral-7B 的主要特色
合規性與倫理
Dolphin-2.1-mistral-7B 模型的核心理念之一是其未經審查的特性。雖然這帶來了更大的靈活性，但也要求使用者自行實作對齊層以確保合乎倫理的使用，特別是在將模型作為服務公開時。
增強的合規性
Dolphin-2.1-mistral-7B 模型的未審查特性使其能夠回應更廣泛的提示，而不受其他 AI 模型中的固有偏見影響。這項功能雖然強大，但也伴隨著道德管理的責任。
可自訂性
憑藉 Apache-2.0 授權，Dolphin-2.1-mistral-7B 模型可針對各種系統與應用進行自訂與整合，成為開發者與企業的多功能工具。
ChatML 提示格式
Dolphin-2.1-mistral-7B 模型採用 ChatML 提示格式，簡化了互動流程，讓使用者更容易引導 AI 扮演特定角色或執行特定任務，提升了使用者體驗與模型實用性。
探索未審查 LLM
打造一個未審查的 LLM 涉及移除或減少限制其生成特定內容的約束。此過程通常包含以下步驟：
理解對齊
認識到大多數模型都經過對齊，以避免產生有害或具爭議性的內容。這種對齊通常是訓練資料的結果，可能受到建立模型的組織的偏見與方針影響。
資料收集
取得用於微調模型的資料集。該資料集包含模型訓練時使用的輸入-輸出配對。
過濾資料集
分析資料集，找出模型因對齊而受到限制的回應實例。這些實例可能包括拒絕回答問題，或偏向特定觀點的回應。
移除拒絕回應
編輯資料集，移除或修改表現出拒絕或偏見的回應。目標是建立一個不會將這些限制傳遞給模型的資料集版本。
重新訓練模型
使用過濾後的資料集重新訓練模型。此步驟涉及將修改後的資料集重新饋入模型，使其從新的、較少限制的資料中學習。
調整訓練參數
在重新訓練過程中，可能需要調整各種參數，例如學習率、批次大小和訓練週期，以優化模型在不經審查情況下的效能。
測試與迭代
重新訓練後，測試模型以確保其行為符合預期——在保持輸出品質與一致性的同時，產生未經審查的回應。可能需要反覆進行資料集過濾與重新訓練，以達到理想結果。
部署
一旦對模型的行為感到滿意，即可將其部署到應用程式或服務中，並確保以負責任且合乎倫理的方式使用。
監控與更新
持續監控模型的效能，並視需要進行更新，以維持其未審查狀態並處理任何新出現的問題。
倫理考量
在整個過程中，必須考慮建立與使用未審查模型的倫理意涵。確保模型的使用符合你的價值觀與使用者的期望。
未審查 LLM 的意義（如 dolphin-2.1-mistral-7B）
未審查模型之所以重要，原因有多項，如 Eric Hartford（Cognitive Computations 的主要團隊成員之一）在其部落格文章《未審查模型》中所闡述。以下幾點說明了它們的重要性：
文化多樣性
世界並非單一，不同的文化、政治意識形態與信仰體系擁有不同的觀點。未審查模型允許觀點的多樣性，而非受限於單一文化或意識形態的對齊（通常是訓練資料來源地的對齊）。
言論自由
作家、藝術家與內容創作者可能需要在其作品中探索黑暗或爭議性主題。審查過的模型可能拒絕處理此類內容，從而限制創作自由。未審查模型不會基於訓練資料的倫理或道德標準施加限制。
求知欲
人們天生好奇，希望了解事物運作原理，即使那些事物可能具有危險性。例如，有人可能純粹出於興趣想了解炸藥背後的化學原理，而非意圖造成傷害。審查過的模型可能阻止此類探究，而未審查模型則允許。
使用者自主權
使用者應能控制自己的裝置以及其上運行的軟體。就像人們期望烤麵包機或汽車按自己的意願運作一樣，他們也應該能夠向 AI 模型提問，而不被模型根據自身的對齊而拒絕回答。
可組合性
為了建立能夠適應各種用例與限制的 AI 系統，你可能需要從未經對齊的模型開始，然後再在之上套用特定的對齊。這為 AI 開發提供了更靈活、更可自訂的方法。
科學研究
在某些情況下，審查可能阻礙科學進展。研究人員可能需要取得廣泛的資訊，包括敏感或具爭議性的資料，以推進他們的工作。
法律與倫理保護
雖然對齊可以保護公司免於法律與公關問題，但在某些情況下，它也可能被視為一種不理想的自我審查。
透明度與控制
未審查模型可以提供更高的 AI 模型運作透明度，因為它們的回應未經過對齊層的過濾。這對於理解與除錯模型行為非常有價值。
總結
總而言之，未審查模型之所以重要，是因為它們支持更廣泛的人類活動，從創意探索到知性研究，並在 AI 應用中維護使用者自主權與靈活性原則。然而，重要的是要注意，伴隨未審查模型所帶來自由的是以合乎倫理且安全方式使用的責任。
設定 dolphin-2.1-mistral-7B
注意：所有必要檔案均可在 Huggingface 上的 TheBloke 找到。請熟悉以下流程以有效管理這些檔案。
步驟 1：選擇量化模型檔案
根據品質與大小的權衡，決定要下載哪個 Dolphin 2.1 Mistral 7B 模型的量化版本。若要取得平衡，建議使用 Q4_K_M.gguf 或 Q5_K_M.gguf 檔案。
步驟 2：安裝必要工具
你需要系統上已安裝 Python 和 git。如果尚未安裝，請下載並安裝：
- Python：從 python.org 安裝。
- Git：從 git-scm.com 安裝。
步驟 3：安裝 Huggingface Hub CLI
這個工具可協助你有效率地下載模型檔案。
pip3 install huggingface-hub
步驟 4：下載模型
使用 Huggingface Hub CLI 將所選的模型檔案下載到當前目錄。
huggingface-cli download TheBloke/dolphin-2.1-mistral-7B-GGUF dolphin-2.1-mistral-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False
步驟 5：選擇客戶端或函式庫
選擇一個支援 GGUF 的客戶端或函式庫來與模型互動。一些熱門選項包括：
- llama.cpp：提供命令列介面和伺服器選項。
- text-generation-webui：一個包含許多功能與擴充功能的網頁 UI。
- ctransformers：一個用於在 Python 程式碼中使用模型的 Python 函式庫。
步驟 6：安裝客戶端或函式庫
例如，如果你選擇使用 ctransformers，請在支援 GPU 的系統上安裝含 GPU 支援的版本：
pip install ctransformers[cuda]
步驟 7：設定環境
如果你使用像 llama.cpp 這樣的命令列工具，請確保它與 GGUF 格式相容，並視需要下載。
步驟 8：執行模型
使用所選的客戶端或函式庫載入模型並開始產生文字。以下是使用 ctransformers 的範例：
from ctransformers import AutoModelForCausalLM
# 設定 gpu_layers 為卸載到 GPU 的層數（如果沒有 GPU 則設為 0）
llm = AutoModelForCausalLM.from_pretrained("TheBloke/dolphin-2.1-mistral-7B-GGUF", model_file="dolphin-2.1-mistral-7b.Q4_K_M.gguf", model_type="mistral", gpu_layers=50)
# 產生文字
print(llm("AI is going to"))
步驟 9：與模型互動
模型設定完成後，你可以透過提供提示並接收回應來與其互動。
步驟 10：進階用法
探索你所使用客戶端或函式庫的進階功能，例如聊天式互動、自訂提示模板等。
額外提示：
- 務必查閱你所使用的客戶端或函式庫的文件，以取得具體說明與其他參數。
- 如果遇到問題，請參閱各工具的社群論壇或 GitHub 議題以進行除錯。
- 記得管理你的資源，特別是在使用 GPU 加速時。
若想取得更多關於設定 dolphin-2.1-mistral-7B 的資訊，請造訪 Huggingface 上的 TheBloke。
整合 dolphin-2.1-mistral-7B 與其他平台的技巧
1. 擁抱未審查特性
由於 Dolphin 是未經審查的，如果你的應用需要倫理約束或內容審查，請設計自訂的對齊層。
2. 選擇合適的量化
選擇一個符合應用程式對品質與效能需求的量化模型檔案。從 2 位元到 8 位元的範圍可讓你根據所需的平衡進行選擇。
3. 使用 ChatML 提示格式
善用 ChatML 格式來建立使用者與 AI 之間的結構化互動模式，這是 Dolphin 設計上相容的格式。
4. 確保系統相容性
檢查你的平台是否能滿足 Dolphin 模型的系統需求，考慮所選量化版本的 RAM 與 GPU 規格。
5. 最佳化效能
充分利用 GPU 加速功能，這對於處理 Dolphin 的運算需求至關重要，尤其是較大的量化版本。
6. 安全且負責任的使用
實作過濾器或審查工具來管理回應，確保它們符合你平台的道德標準。
7. 流暢的模型載入
使用如 ctransformers 等函式庫來輕鬆載入模型，這對於維持 Dolphin 模型的效能至關重要。
8. 使用者介面設計
設計 UI 以協助使用者建立有效的 ChatML 提示，充分利用 Dolphin 在結構化對話中的優勢。
9. 倫理考量
對使用者透明地說明 Dolphin 的未審查特性，以及平台內套用的任何內容過濾機制。
10. 全面測試
在各種情境下測試整合，確保回應在你的應用上下文中能被妥善處理。
11. 文件與最佳實務
提供文件，強調提示建構的最佳實務以及模型使用的倫理規範。
12. 監控與迭代
持續監控模型的效能，並根據需要進行調整，以適應 Dolphin 的運算需求。
13. 定期更新
保持模型及其相關軟體為最新版本，以受益於最新的改進與安全修補。
未審查 LLM 對開發者的實際應用
AI 夥伴聊天
未審查 LLM 可用於建立 AI 夥伴聊天應用，提供更開放、更靈活的對話體驗。與受審查的模型不同，這類模型可以討論更廣泛的主題，包括具爭議性或文化敏感的話題。開發者可以利用此功能建立提供以下功能的夥伴：
- 文化多元的互動： 能適應不同文化背景與使用者偏好的聊天機器人。
- 全面的使用者體驗： 限制較少的對話，讓使用者自由探索各種主題。
- 可自訂的內容過濾器： 能夠根據使用者需求或特定應用要求實作自訂過濾器。
AI 聊天
對於想要突破傳統對話式 AI 界限的開發者來說，未審查 LLM 提供了獨特的機會：
- 創意內容開發： 支援生成涉及成人或黑暗主題的敘事或對話，這對於某些類型的故事創作至關重要。
- 研究與探索： 促進取得其他地方可能被審查的資訊，從而支持求知欲與研究。
- 互動透明度： 向使用者保證 AI 不會因內建限制而隱瞞資訊。
AI 小說生成
未審查 LLM 對於對自動化創意寫作（如生成小說或故事）感興趣的開發者特別有用：
- 不受限制的創意輸出： 能夠產生包含受審查模型可能限制的主題與元素的内容。
- 多樣化的類型探索： 從奇幻到犯罪驚悚，未審查模型可以處理涉及敏感或露骨素材的各種類型。
- 角色發展： 支援建立具有複雜背景故事、可能涉及不道德或爭議行為的角色。
AI 摘要
雖然摘要看似直接，但未審查 LLM 可以提供不同的觀點：
- 全面的摘要： 總結受審查模型可能認為敏感或具爭議性的內容，確保所有觀點都被呈現。
- 研究與分析工具： 為開發者提供工具，為可能包含廣泛主題的研究資料或文件建立摘要。
- 可自訂的摘要規則： 允許開發者根據應用需求自行設定摘要中應包含或不應包含哪些內容的規則。
替代的 LLM API
Novita AI 為開發者提供一系列 LLM API 選項，其中包含未審查模型。使用 LLM API，只需幾行程式碼即可省去自行設定模型的所有麻煩。此外，Novita AI LLM API 還包含超參數調整與可自訂系統提示的功能，可滿足個人需求。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>", # Replace with your actual API key
)
model = "nousresearch/nous-hermes-llama2-13b"
Novita AI 上的 dolphin-mixtral-8x22b
Dolphin 2.9 專為指令遵循、對話與程式碼而生。此模型是 Mixtral 8x22B Instruct 的微調版本。它具備 64k 上下文長度，並使用 16k 序列長度透過 ChatML 模板進行微調。模型已移除對齊與偏見。需要外部的對齊層以合乎倫理使用。
Novita AI 上的 sao10k/l3–70b-euryale-v2.1
此 llama3 模型是創意的強大引擎，在角色扮演與故事寫作方面表現出色。它在角色扮演中提供無拘無束的體驗，沒有任何限制。這款模型以其巨大的創造力脫穎而出，擁有大量獨特的點子與情節，對於尋求原創性的人來說確實是一座寶庫。其在角色扮演中不受限制的特性，讓想像力得以盡情發揮，就像增強版、大腦升級的 Stheno。對於尋求無限平台來展現想像力表達的創意人士來說，llama3 模型是理想的選擇。
結論
總而言之，Dolphin-2.1-mistral-7B 模型代表了 AI 技術的一大躍進，這得益於其未審查的本質與開源基礎。由 a16z 贊助，Cognitive Computations 開發，它建立在開放協作與社群驅動創新的原則之上。從其在高效能 GPU 上的嚴謹訓練流程，到整合多元資料集，該模型在效能與適應性方面表現出色。Apache-2.0 授權合規性、ChatML 提示格式以及支援廣泛應用等關鍵功能，凸顯了其多功能性與以使用者為中心的設計。
隨著開發者與使用者擁抱像 Dolphin-2.1-mistral-7B 這樣的未審查 LLM 的潛力，他們為創意表達、知性探索與使用者自主權開啟了新的可能性。雖然該模型提供了前所未有的自由，但它也強調了道德管理與負責任使用的重要性。透過將 Dolphin-2.1-mistral-7B 整合到各種平台與應用中，開發者可以為使用者提供促進數位時代創新與包容性的 AI 互動。
Novita AI 是一站式雲端平台，助您實現 AI 夢想。透過無縫整合的 API、無伺服器運算與 GPU 加速，我們提供具成本效益的工具，讓您快速建立並擴展 AI 驅動的業務。免除基礎設施的煩惱，立即免費開始 — Novita AI 讓您的 AI 夢想成真。
