重點摘要
Mistral 7B 概覽
- 參數：73 億。
- 效能：超越 Llama 2 13B 等較大模型。
- 創新技術：分組查詢注意力（GQA）實現更快的推論；滑動視窗注意力（SWA）處理更長的序列。
- 授權：Apache 2.0 授權，可無限制使用。
Mixtral 8x7B 量化模型概覽
- 進階量化：4 位元量化，減少記憶體佔用。
- 高效推論：更快且更節省資源，適合消費級硬體。
- 混合專家（MoE）：針對不同輸入部分選取相關「專家」，有效擴展。
- 多語言：支援多種語言，在程式碼任務中表現優異。
引言
歡迎來到 Mistral 和 Mixtral 模型系列的全面概覽，這兩個由 Mistral AI 開發的開創性語言模型。在這篇部落格中，我們將探討 Mistral 7B 和 Mixtral 8x7B 量化模型的功能、效能及獨特創新。我們將深入探討這些模型所採用的進階技術，例如量化和 混合專家（MoE），並詳細比較它們的能力和硬體需求。無論您是 AI 愛好者還是領域專業人士，本指南都將幫助您了解這些模型帶來的卓越進步。
Mistral 7b 概覽
Mistral 7B 是由 Mistral AI 開發的強大語言模型，擁有 73 億個參數。其突出特點包括：
超越 Llama 的卓越效能
它在多項基準測試中超越了 Llama 2 13B 等較大模型，展現了高效率。
創新的注意力機制
使用分組查詢注意力（GQA）實現更快的推論，以及滑動視窗注意力（SWA）有效處理較長序列。
開放授權
以寬鬆的 Apache 2.0 授權發布，允許在不同平台上無限制使用和部署。
Mixtral 8x7b 量化模型概覽
Mixtral 8x7b 量化版 是一個大型語言模型，採用進階量化技術以最佳化效能和效率：
- 進階量化：使用最先進的量化方法，例如 4 位元量化，大幅減少模型的記憶體佔用，同時不顯著影響效能。
- 高效推論：量化模型實現更快、更節省資源的推論，使其適合部署在運算資源有限的消費級硬體上。
- 混合專家：整合 MoE 層，透過為輸入的不同部分選取最相關的「專家」來有效處理資訊，使其能夠像更大的模型一樣擴展和執行。
- 多語言能力：與完整精度模型一樣，量化的 Mixtral 8x7b 支援多種語言，包括英文、法文、德文、西班牙文和義大利文，並且在程式碼任務中表現優異。
Mixtral 8x7b 量化版可視為 Mistral 7B 的後繼或專門版本，結合了 MoE 方法的架構創新和量化帶來的效率提升。因此，為了進一步了解 Mixtral 8x7b 量化版與 Mistral 的差異，我們將探討量化和 MoE 方法。
Mixtral 8x7b 量化版 vs Mistral：了解量化
量化是 Mixtral 8x7b 量化版的主要區別特徵之一，如本文所述，它涉及將模型權重的精度降低到較低位元，從而大幅減少模型的記憶體佔用。這是在不顯著降低微調任務效能的條件下實現的。以下是關於量化如何應用及其重要性的簡潔專業概述：
量化在 Mixtral 8x7b 量化版中的應用
- QLORA 方法：使用 QLORA（量化低秩適配器）方法以僅 4 位元精度微調 Mixtral 8x7b 模型。此方法允許梯度透過凍結的 4 位元量化預訓練語言模型反向傳播到低秩適配器（LoRA）。
- 創新技術：QLORA 方法引入了多項創新，包括：
- 4 位元 NormalFloat (NF4)：一種新的資料類型，對於常態分佈的權重在資訊理論上是最佳的，比傳統的 4 位元表示提供更好的實證結果。
- 雙重量化：一種透過量化量化常數本身來進一步減少記憶體使用的技術，從而節省更多記憶體。
- 分頁最佳化器：一種管理記憶體尖峰的策略，在處理具有長序列長度的小批次時特別有用。
量化的重要性
- 記憶體效率：量化在 Mixtral 8x7b 模型中的主要意義在於大幅降低記憶體需求，使得在 VRAM 有限的 GPU 上微調大型模型成為可能。
- 可及性：透過減少記憶體佔用，量化使微調大型語言模型的門檻降低，因為現在可以在通常無法處理完整精度模型記憶體負載的消費級硬體上執行此類任務。
- 效能保留：儘管精度降低，QLORA 方法確保微調後的模型效能可與在完整 16 位元精度下微調的模型相媲美。
- 可擴展性：量化允許訓練比標準硬體記憶體限制所能支援的更大的模型。這為在控制資源消耗的同時進一步擴展模型大小鋪平了道路。
不同類型的 Mixtral 8x7b 量化模型
Ikawrakow 在 GitHub 上總結了不同類型的 Mixtral 8x7b 量化模型與目前 llama.cpp 量化方法在 512 個 token 上下文長度下的 Wikitext 困惑度比較。
「量化誤差」定義為 (PPL(量化模型) - PPL(int8))/PPL(int8)。
Mixtral 8x7b 量化版 vs Mistral：了解 MoE
混合專家（MoE） 是一種先進的機器學習典範，將稀疏性引入深度學習模型，特別是在神經網路的背景下。傳統神經網路對所有輸入使用相同的參數集。相比之下，MoE 模型由一個專門專家的池組成，每個專家能夠處理輸入空間的不同子集。一個門控機制或路由器根據輸入資料決定這些專家的啟用。
MoE 在 Mixtral 8x7b 中的應用
Mixtral 8x7b 利用 MoE 框架以高效運算實現高效能。在此模型中，傳統的密集前饋網路（FFN）被 MoE 層取代，後者由多個專家組成。每個專家都是一個較小的神經網路，專門處理輸入資料的特定方面。Mixtral 8x7b 中的路由器動態地為每個 token 選取最相關的專家，使模型能夠將運算資源集中在輸入中最具資訊量的部分。
MoE 在 Mixtral 8x7b 中的這種應用允許模型擴展到數十億個參數，同時保持快速的推論速度。它還使模型能夠處理更長的序列，並在各種自然語言處理任務中達到最先進的結果。
MoE 的重要性
MoE 的重要性 在於它能夠將大規模模型的優勢與稀疏運算的效率結合起來。以下是一些突出其重要性的關鍵點：
- 可擴展性：MoE 允許創建具有前所未有參數量的模型，而無需相應增加運算成本，使得訓練和部署以前不可行的模型成為可能。
- 效率：透過僅為每個輸入啟用一部分專家，MoE 模型可以更有效地處理資訊，與類似大小的密集模型相比，實現更快的推論時間。
- 適應性：MoE 模型可以透過將不同的專家專門化到資料的不同方面來適應多樣且複雜的資料分佈，從而可能提高廣泛任務的效能。
- 資源最佳化：MoE 透過減少對過度運算能力和記憶體頻寬的需求，實現更好的硬體資源利用，這對於在資源受限的設備上部署模型至關重要。
Mixtral 8x7b 量化版 vs Mistral：應用與使用案例
研究與開發：
兩種模型在研究與開發環境中都很有價值，探索尖端語言模型可以促進 AI 技術的進步。兩者之間的選擇可能取決於研究的具體重點，例如效能與效率之間的權衡。
商業部署：
對於效能和資源利用平衡至關重要的商業應用，量化後的 Mixtral 8x7b 可能提供更實用的解決方案。它在模型能力和硬體需求之間提供了良好的折衷。
多語言應用：
鑑於兩種模型都能處理多種語言，它們可以部署在多語言環境中，用於跨語言翻譯、多語言內容創作和語言學習工具等應用。
推論密集型任務：
量化的 Mixtral 8x7b 可能在速度和效率至關重要的推論密集型任務中表現更好，例如即時對話式 AI、聊天機器人和客戶服務自動化。
Mixtral 8x7b 量化版 vs Mistral：效能與硬體需求
Mixtral 8x7b 量化版 vs Mistral：效能比較
雖然 Mixtral 8x7B 量化形式的效能數據並未公開，但 Ingrid Stevens 進行了一些實驗，使用各種提示在 Vercel 上測試 Mixtral-8x7B，並在 M1 晶片上測試 Mixtral-8x7B Q3_K_M，並與 ChatGPT 3.5 進行比較。她得出的結論是，Mixtral 8x7B 的量化版和非量化版之間沒有顯著差異。因此，要比較 Mixtral 8x7B 量化版與 Mistral 7B 的效能，使用 Huggingface Open LLM Leaderboard 上列出的 Mistral 7B 和 Mixtral 8x7B 的基準測試效能是實用的做法。
- 平均分數：Mixtral 8x7B 的平均分數（19.23）高於 Mistral 7B（14.17），表明平均而言，Mixtral 8x7B 在評估任務中表現更好。
- IFEval：Mixtral 8x7B 在評估模型遵循指令能力的 IFEval 基準測試中獲得較高分數（23.5），而 Mistral 7B 為 22.66。
- BBH：在測試模型回答給定文字問題能力的 BBH 基準測試中，Mixtral 8x7B 表現提升，得分 29.73，而 Mistral 7B 為 24.04。
- MATH Lvl 5：對於第 5 級數學推理，Mixtral 8x7B 大幅超越 Mistral 7B，得分 8.84 對比 2.64，顯示出更強的數學問題解決能力。
- GPQA：在評估模型在一系列問答任務中表現的 GPQA 基準測試中，Mixtral 8x7B 再次展現優越效能，得分 9.28，而 Mistral 7B 為 5.59。
- MUSR：在專注於摘要的 MUSR 基準測試中，Mixtral 8x7B 獲得較高分數（12.55），高於 Mistral 7B 的 8.36。
- MMLU-PRO：在 MMLU-PRO（跨領域專業級多選題基準測試）中，Mixtral 8x7B 表現顯著提升，得分 31.5，而 Mistral 7B 為 21.7。
Mixtral 8x7b 量化版 vs Mistral：硬體需求比較
加載 Mixtral 4 位元量化版本需要至少 30GB VRAM 的 GPU 設備。而對於 Mistral 7B，可以在至少 24GB VRAM 的 GPU 上進行訓練，使 RTX 6000 Ada 或 A100 成為合適的訓練選擇。Novita AI 提供經濟高效、易於存取、按需付費的 GPU 雲端服務，包括 RTX 4090 24GB、1x RTX 3090 24GB、1x A100 80GB、RTX A6000 48GB 和 L40 48GB。此外，它可即時存取 Jupyter，並預先安裝了 Tensorflow、Pytorch、cuDNN、CUDA、TensorRT、Llama3 和 Stable Diffusion。快來看看 ** 全球最便宜的 AI 雲端**！
探索其他 Mistral/Mixtral 模型
Mistral/Mixtral 模型系列非常廣泛。根據 Huggingface Open LLM Leaderboard，還有許多相似或經過微調的 Mistral/Mixtral 模型，具有卓越效能或獨特功能。千萬別錯過！
Novita AI 上的 teknium/openhermes-2.5-mistral-7b
OpenHermes 2.5 Mistral 7B 是一種最先進的 Mistral 微調模型，是 OpenHermes 2 模型的延續，在額外的程式碼資料集上進行了訓練。
Novita AI 上的 Nous-Hermes-2-Mixtral-8x7B-DPO
Nous Hermes 2 Mixtral 8x7B DPO 是 Nous Research 在 Mixtral 8x7B MoE LLM 上訓練的新旗艦模型。該模型在超過 1,000,000 個主要由 GPT-4 生成的資料條目以及來自 AI 領域開放資料集的其他高品質資料上進行了訓練，在各種任務上實現了最先進的效能。
Novita AI 上的 mistralai/mistral-nemo
Mistral nemo 是一個 12B 參數的模型，具有 128k token 的上下文長度，由 Mistral 與 NVIDIA 合作構建。該模型支援多種語言，包括英文、法文、德文、西班牙文、義大利文、葡萄牙文、中文、日文、韓文、阿拉伯文和印地文。它支援函式呼叫，並以 Apache 2.0 授權發布。
Novita AI 上的 cognitivecomputations-dolphin-mixtral-8x22b
Dolphin 2.9 專為指令遵循、對話和程式碼而設計。此模型是 Mixtral 8x22B Instruct 的微調版本。它具有 64k 的上下文長度，並使用 ChatML 模板以 16k 序列長度進行微調。該模型未經審查，已去除對齊和偏見。出於道德使用考量，需要外部對齊層。
結論
正如我們所探討的，Mixtral 8x7B 量化模型憑藉其先進的量化方法和 MoE 框架，為記憶體效率和運算資源最佳化樹立了新標竿。請務必探索 Novita AI 上提供的廣泛 Mistral/Mixtral 模型系列，每個模型都提供獨特的功能和效能增強。
常見問題
Mixtral 的最佳量化方案是什麼？
Mixtral 在 3 位元量化下表現出色，可裝載到單張 RTX 3090 上，每秒處理約 50 個 token。
Mixtral 8x7B 何時發布？
Mistral AI 於 2023 年 12 月 8 日發布了 Mixtral 8x7B。
Mistral 8x7B 的排名為何？
在查看流行的 MMLU 基準測試時，Mistral 模型的效能排名如下：Mistral Large (84.0%) > Mistral 8x22B (77.8%) > Mistral Small (72.2%) > Mixtral 8x7B (70.6%) > Mistral Nemo (68%) > Mistral 7B (62.5%)。
Novita AI 是一體化的雲端平台，助您實現 AI 雄心。整合 API、無伺服器、GPU 實例——您所需的經濟高效工具。無需基礎設施，免費開始，讓您的 AI 願景成為現實。
推薦閱讀
