Введение
С радостью объявляем о поддержке Novita AI для AnythingLLM — мощной универсальной десктопной платформы, которая меняет способ взаимодействия с большими языковыми моделями. Эта интеграция привносит передовые возможности языковых моделей Novita непосредственно на ваш рабочий стол, предоставляя централизованный центр для всех задач обработки языка.
Одной из ключевых особенностей AnythingLLM является его мощная функция обработки PDF, позволяющая загружать и анализировать PDF-файлы прямо в платформе. Это даёт возможность быстро резюмировать, извлекать информацию и анализировать даже самые сложные PDF-документы.
Используя Novita AI с AnythingLLM, вы можете мгновенно превращать PDF в действенные инсайты, экономя время и повышая продуктивность — всё в одном простом и удобном десктопном интерфейсе.
Что такое AnythingLLM?
AnythingLLM — это полнофункциональное приложение, которое даёт вам гибкость использования как коммерческих LLM, так и популярных открытых LLM, а также решений для векторных баз данных. Вы можете запускать это приложение локально или размещать удалённо, получая безопасную и приватную среду для интеллектуального взаимодействия с вашими документами. Объединяя эти ресурсы, AnythingLLM позволяет создать высокофункциональный AI-чат, способный обрабатывать сложные языковые задачи без ущерба для конфиденциальности и контроля.
Ключевые особенности
- Рабочее пространство в виде тредов: Рабочие пространства (Workspaces) функционируют как треды, организуя связанные документы в изолированном пространстве. Каждое рабочее пространство отделяет документы от других, сохраняя уникальный контекст для каждого проекта или темы.
- Гибкость для личного и бизнес-использования: Установите AnythingLLM и полный набор его инструментов как единое приложение на вашем личном компьютере. Также встроено детальное управление правами и контроль доступа для организаций.
- Безопасность: AnythingLLM взаимодействует только с теми сервисами, к которым вы его подключаете, и может работать полностью на вашем устройстве без доступа к интернету.
Почему стоит использовать AnythingLLM?
- Совместимость с множеством моделей: AnythingLLM поддерживает как коммерческие LLM (например, GPT-4o), так и популярные открытые модели (например, Llama 3.1 8b — в этом вам поможет Novita AI), позволяя выбирать модели исходя из бюджета, требований к кастомизации и конфиденциальности.
- Возможность локального и удалённого хостинга: Приложение может работать полностью офлайн на локальной машине или размещаться удалённо, обеспечивая гибкость для сохранения безопасности данных и одновременно предоставляя удалённый доступ для командных проектов.
- Управление рабочими пространствами: «Рабочие пространства», как упоминалось выше, действуют как изолированные треды, каждый из которых отдельно организует связанные документы. Это позволяет хранить информацию в отдельных разделах и вести сфокусированные обсуждения по конкретным проектам или темам без пересечений.
- Продвинутая обработка документов (включая PDF): Платформа может импортировать и анализировать PDF-файлы, позволяя пользователям извлекать, резюмировать и взаимодействовать с содержимым документов напрямую, что делает её эффективной для исследовательских задач.
Например, можно легко развернуть частный AI-чат для документов:
Запустите частный AI-чат для документов за 10 минут! | Open Source
Как использовать Novita AI LLM API в AnythingLLM?
Что такое Novita AI?
API, Serverless и GPU-инстансы в одном AI-облаке. Novita AI предлагает экономичные и легко интегрируемые решения для ускорения вашего AI-бизнеса.
Novita AI LLM API предоставляет разработчикам высокорентабельное решение с одними из самых низких цен в мировой индустрии. Платформа развёртывает современные модели, такие как llama-3-70b и llama-3.1-8b-instruct, для высокоскоростных производственных задач, увлекательных обсуждений и творческих проектов. Также доступны возможности нецензурированного чата с популярными моделями, например microsoft/wizardlm-2-8x22b и gryphe/mythomax-l2-13b.
Интеграция с AnythingLLM упрощена благодаря совместимости со стандартом OpenAI API, а API может автоматически масштабироваться под изменения нагрузки. Novita AI уделяет приоритетное внимание надёжности: быстрые сетевые скорости и обязательство конфиденциальности данных (данные запросов не сохраняются для обучения моделей). Пользователи также получают мощную поддержку сообщества через активную группу в Discord, что способствует сотрудничеству и взаимопомощи.
Шаг 1: Перейдите на Novita.ai и войдите
Вы можете войти в Novita AI через Google или GitHub, при первом входе будет создана новая учётная запись. Также можно зарегистрироваться, используя адрес электронной почты.
Шаг 2: Управление ключом API Novita AI LLM
Novita AI обеспечивает безопасный доступ к API через Bearer-аутентификацию, включая API-ключ в заголовок запроса, например “Authorization: Bearer {API Key}”.
Для управления ключами перейдите в “Key Management” в настройках. При первом входе автоматически генерируется ключ по умолчанию. Вы можете создать дополнительные ключи, нажав “+ Add New Key”.
Шаг 3: Скачайте десктопную версию AnythingLLM
Перейдите на AnythingLLM и скачайте последнюю версию для вашего компьютера.
Шаг 4: Выберите Novita AI в качестве LLM-провайдера и введите ключ API Novita
Выберите Novita AI из списка LLM-провайдеров в настройках AnythingLLM. Затем введите ваш ключ API Novita AI LLM и укажите модель, которую хотите использовать.
Как установить AnythingLLM на Linux локально?
Для пользователей Linux вы можете установить AnythingLLM, выполнив эту команду в терминале:
curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
Это загрузит последнюю версию AppImage AnythingLLM, распакует её и создаст символическую ссылку для удобного запуска. Скрипт распакует приложение в $HOME/AnythingLLMDesktop.
Вы можете запустить приложение в любое время с помощью ./AnythingLLMDesktop/start. Это запустит приложение с полным логированием.
Часто задаваемые вопросы
Где сохраняются документы в AnythingLLM?
При использовании AnythingLLM все документы и данные безопасно хранятся на устройстве, на котором запущен AnythingLLM — будь то локальная машина или AnythingLLM Cloud.
Зачем использовать AnythingLLM вместо LLM AI с PDF-плагином?
AnythingLLM предоставляет полный контроль над доступом, разрешениями и обменом данными в любой LLM и векторной базе данных, обеспечивая гибкость и безопасность. Приложение может работать полностью офлайн, полагаясь только на локальные сервисы, поэтому конфиденциальность сохраняется без стороннего вмешательства.
Как использовать модели эмбеддингов, скачанные с Hugging Face?
После загрузки модели (вероятно, в формате GGUF) вам потребуется настроить LLM-провайдера для её эффективного запуска. LocalAI и LMStudio предоставляют среды, где можно легко установить и запустить модели. Кроме того, рекомендуем попробовать Novita AI, который также предлагает модели для различных сценариев.
Как использовать Docker-версию AnythingLLM?
Обратитесь к этой странице, чтобы узнать, как хранить данные локально и запускать AnythingLLM в Docker на Windows, MacOS, Linux или с помощью Docker Compose.
Заключение
Благодаря поддержке Novita AI в AnythingLLM пользователи получают мощный и универсальный инструмент, который объединяет передовые языковые модели Novita с надёжным управлением документами и безопасными рабочими пространствами AnythingLLM. Эта интеграция позволяет эффективно анализировать PDF, обрабатывать разнородные данные и участвовать в сложных организованных взаимодействиях — и всё это в среде, ориентированной на конфиденциальность, поддерживающей как локальное, так и облачное использование. Будь то исследования, создание контента или анализ данных, Novita AI и AnythingLLM вместе предлагают комплексное решение, отвечающее профессиональным потребностям в области AI и работы с документами.
Оригинал опубликован на Novita AI
Novita AI — это AI-облачная платформа, которая предлагает разработчикам простой способ развёртывания AI-моделей через наш простой API, а также предоставляет доступное и надёжное GPU-облако для создания и масштабирования проектов.
Рекомендуемые статьи
1.Используйте Clipboard Conqueror с API-ключом Novita AI для продуктивности разработчика
2.Задействуйте LLM от Novita AI в LobeChat с вашим API-ключом
