簡介
很高興宣布 Novita AI 支援 AnythingLLM——這是一個功能強大的全合一桌面平台，改變了你與大型語言模型互動的方式。這項整合將 Novita 先進的語言模型能力直接帶到你的桌面，為所有語言處理需求提供一個集中樞紐。
AnythingLLM 最突出的功能之一是其強大的 PDF 處理能力，使用者可直接在平台內上傳與分析 PDF，即便是最複雜的檔案也能快速摘要、提取資訊並進行分析。
透過將 Novita AI 與 AnythingLLM 結合使用，你可以將 PDF 即時轉化為可執行的洞察，節省時間並提升生產力——一切都在一個簡單易用的桌面介面上完成。
什麼是 AnythingLLM？
AnythingLLM 是一個全端應用程式，旨在讓你靈活使用商業 LLM 與熱門開源 LLM，同時搭配向量資料庫解決方案。你可以在本機執行此應用程式，或遠端託管，提供一個安全、私密的環境來智慧地與文件互動。透過整合這些資源，AnythingLLM 讓你建立功能強大的 AI 聊天介面，處理複雜的語言任務，同時不犧牲隱私或控制權。
主要功能
- 類似執行緒的工作區結構： 工作區就像執行緒，將相關文件組織在一個封閉的空間中。每個工作區會將文件與其他工作區隔離，為每個專案或主題保留獨特的上下文。
- 個人與企業的靈活性： 將 AnythingLLM 及其完整工具套件作為單一應用程式安裝在你的個人桌面上。並內建了適用於組織的細粒度權限與存取控制。
- 安全性： AnythingLLM 只與你連接的服務通訊，且可完全在你的機器上離線執行。
為何應該使用 AnythingLLM？
- 多模型相容性： AnythingLLM 支援商業 LLM（如 GPT-4o）和熱門開源模型（如 Llama 3.1 8b，Novita AI 可協助你），讓使用者能根據預算、客製化需求和隱私考量選擇模型。
- 本地與遠端託管選項： 可在本地機器上完全離線執行，或遠端託管，提供維護資料安全性的靈活性，同時為團隊專案提供遠端存取能力。
- 工作區管理： 如上所述，「工作區」就像隔離的執行緒，各自獨立組織相關文件，將資訊分門別類，使你能專注討論特定專案或主題，避免重疊。
- 進階文件處理（包含 PDF）： 平台可匯入並分析 PDF，讓使用者直接提取、摘要並與文件內容互動，對於研究密集型工作流程非常高效。
例如，可以輕鬆部署一個功能型且便利的私人 AI 文件聊天機器人：
在 10 分鐘內啟動一個私人 AI 文件聊天機器人！ | 開源
如何在 AnythingLLM 上使用 Novita AI LLM API？
什麼是 Novita AI？
整合 API、無伺服器與 GPU 實例的 AI 雲端。Novita AI 提供經濟實惠、無縫整合的解決方案，加速你的 AI 業務。
Novita AI LLM API 為開發者提供極具成本效益的解決方案，擁有全球業界最低的價格之一。它部署了如 llama-3-70b 和 llama-3.1-8b-instruct 等熱門模型，適用於高速生產任務、互動討論與創意工作。該平台還支援如 microsoft/wizardlm-2-8x22b 和 gryphe/mythomax-l2-13b 等流行模型的無審查聊天功能。
與 AnythingLLM 的整合透過相容於 OpenAI API 標準而變得流暢，其 API 可自動擴展以因應使用需求的變化。Novita AI 注重可靠性，提供快速網路速度，並承諾不儲存提示資料用於模型訓練，確保資料保密性。使用者也能透過活躍的 Discord 社群獲得強大的社群支援，促進協作與互助。
步驟 1：前往 Novita.ai 並登入
你可以使用 Google 或 GitHub 在 Novita AI 登入，首次登入會自動建立新帳戶。或者，你也可以使用電子郵件註冊。
步驟 2：管理 Novita AI LLM API 金鑰
Novita AI 透過 Bearer 認證保護 API 存取，在請求標頭中包含 API 金鑰，例如：「Authorization: Bearer {API Key}」。
若要管理金鑰，請導航至設定中的「Key Management」。首次登入時會自動產生一個預設金鑰。你可以點擊「+ Add New Key」建立其他金鑰。
步驟 3：下載桌面版 AnythingLLM
前往 AnythingLLM 下載適合你電腦的最新版本。
步驟 4：選擇 Novita AI 作為 LLM 提供者並輸入 Novita API 金鑰
在 AnythingLLM 設定的 LLM 提供者清單中選擇 Novita AI。然後填入你的 Novita AI LLM API 金鑰，並設定你想使用的模型。
如何在 Linux 本機安裝 AnythingLLM？
對於 Linux 使用者，你可以透過在終端機執行以下指令來安裝 AnythingLLM：
curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
這會下載最新版本的 AnythingLLM AppImage，解壓縮，然後建立符號連結以便順暢執行 AnythingLLM。此腳本會將應用程式解壓縮至 $HOME/AnythingLLMDesktop。
你可以隨時執行 ./AnythingLLMDesktop/start 啟動應用程式，這會以完整日誌模式啟動。
常見問題
Anything LLM 上的文件儲存在哪裡？
使用 AnythingLLM 時，所有文件與資料都會安全地儲存在執行 AnythingLLM 的裝置上，無論是本機機器還是 AnythingLLM 雲端。
為什麼要使用 AnythingLLM 而不是帶有 PDF 插件的 LLM AI？
AnythingLLM 能完全控制任何 LLM 與向量資料庫的存取、權限與資料共享，確保靈活性與安全性。它可以完全離線執行，僅依賴本機服務，因此隱私不受第三方暴露的影響。
如何使用從 hugging face 下載的嵌入模型？
下載模型（通常為 GGUF 格式）後，你需要一個 LLM 提供者設定來有效執行它。LocalAI 和 LMStudio 都提供可輕鬆安裝與執行模型的環境。此外，我們建議你試試 Novita AI，它也為不同情境提供模型。
如何使用 Docker 化的 Anything LLM？
你可以參考此頁面，了解如何在 Windows、MacOS、Linux 或 Docker Compose 上在本機儲存並以 Docker 執行 AnythingLLM。
結論
透過 Novita AI 對 AnythingLLM 的支援，使用者獲得了一個強大且多功能的工具，結合 Novita 先進的語言模型與 AnythingLLM 強大的文件管理及安全工作區功能。這項整合讓使用者能夠高效分析 PDF、處理多樣化資料，並進行複雜且有組織的互動——一切都在以隱私為核心、同時支援本機與雲端使用的環境中。無論是研究、內容創作還是資料分析，Novita AI 與 AnythingLLM 共同提供一個全面解決方案，滿足專業 AI 與文件處理需求。
原文發表於 Novita AI
Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 輕鬆部署 AI 模型的方式，同時提供平價且可靠的 GPU 雲端服務，用於建置與擴展。
推薦閱讀
