Introducción
Nos complace anunciar que Novita AI ahora es compatible con AnythingLLM, una potente plataforma de escritorio integral que transforma la forma en que interactúas con los modelos de lenguaje grandes. Esta integración lleva las capacidades avanzadas de modelos de lenguaje de Novita directamente a tu escritorio, ofreciendo un centro centralizado para todas tus necesidades de procesamiento de lenguaje.
Una de las características destacadas de AnythingLLM es su robusta función de procesamiento de PDF, que permite a los usuarios cargar y analizar archivos PDF directamente dentro de la plataforma, ya que permite la síntesis rápida, la extracción de información y el análisis incluso de los archivos PDF más complejos.
Al usar Novita AI con AnythingLLM, puedes transformar PDFs en información procesable al instante, ahorrando tiempo y mejorando la productividad, todo desde una única interfaz de escritorio fácil de usar.
¿Qué es AnythingLLM?
AnythingLLM es una aplicación full-stack diseñada para brindarte la flexibilidad de usar tanto LLMs comerciales como LLMs populares de código abierto, junto con soluciones de bases de datos vectoriales. Puedes ejecutar esta aplicación localmente o alojarla de forma remota, ofreciendo un entorno seguro y privado para interactuar de manera inteligente con tus documentos. Al integrar estos recursos, AnythingLLM te permite construir una interfaz de chat basada en IA altamente funcional que maneja tareas complejas de lenguaje sin comprometer la privacidad ni el control.
Características principales
- Espacio de trabajo con estructura tipo hilo: Los espacios de trabajo funcionan como hilos, organizando documentos relacionados en un espacio contenido. Cada espacio de trabajo aísla los documentos de otros, preservando un contexto único para cada proyecto o tema.
- Flexibilidad para uso personal y empresarial: Instala AnythingLLM y su conjunto completo de herramientas como una única aplicación en tu escritorio personal. También incluye control de acceso y permisos detallados para organizaciones.
- Seguridad: AnythingLLM solo se comunica con los servicios a los que te conectas y puede ejecutarse completamente en tu máquina sin conexión a Internet.
¿Por qué deberías usar AnythingLLM?
- Compatibilidad con múltiples modelos: AnythingLLM es compatible tanto con LLMs comerciales como GPT-4o como con modelos populares de código abierto como Llama 3.1 8b (Novita AI te ayudará con esto), permitiendo a los usuarios seleccionar modelos según el presupuesto, las necesidades de personalización y las preocupaciones de privacidad.
- Opciones de alojamiento local y remoto: Puede ejecutarse completamente sin conexión en una máquina local o alojarse de forma remota, brindando flexibilidad para mantener la seguridad de los datos y ofreciendo al mismo tiempo accesibilidad remota para proyectos en equipo.
- Gestión de espacios de trabajo: Los “espacios de trabajo”, como se mencionó anteriormente, actúan como hilos aislados, organizando cada uno documentos relacionados por separado, lo que mantiene la información compartimentada y permite discusiones enfocadas en proyectos o temas específicos sin superposiciones.
- Manejo avanzado de documentos (incluyendo PDFs): La plataforma puede importar y analizar PDFs, permitiendo a los usuarios extraer, resumir e interactuar directamente con el contenido de los documentos, lo que la hace eficiente para flujos de trabajo intensivos en investigación.
Por ejemplo, se puede implementar fácilmente un chatbot de documentos de IA privado y práctico:
¡Lanza un chatbot de documentos de IA privado en 10 minutos! | Código abierto
Cómo usar la API de LLM de Novita AI en AnythingLLM
¿Qué es Novita AI?
API, sin servidor e instancia de GPU en una sola nube de IA. Novita AI proporciona soluciones rentables y perfectamente integradas para acelerar tu negocio de IA.
La API de LLM de Novita AI ofrece una solución altamente rentable para desarrolladores, con algunos de los precios más bajos de la industria global. Implementa modelos populares como llama-3-70b y llama-3.1-8b-instruct para tareas de producción de alta velocidad, debates interesantes y actividades creativas. La plataforma también ofrece capacidades de chat sin censura con modelos populares como microsoft/wizardlm-2-8x22b y gryphe/mythomax-l2-13b.
La integración con AnythingLLM se simplifica gracias a la compatibilidad con el estándar de la API de OpenAI, y su API puede escalar automáticamente para adaptarse a los cambios en la demanda de uso. Novita AI prioriza la confiabilidad con velocidades de red rápidas y un compromiso con la confidencialidad de los datos al no almacenar datos de solicitudes para el entrenamiento de modelos. Los usuarios también se benefician de un sólido apoyo comunitario a través de un grupo activo en Discord, que fomenta la colaboración y la asistencia entre usuarios.
Paso 1: Ve a Novita.ai e inicia sesión
Puedes iniciar sesión en Novita AI con Google o GitHub, lo que creará una nueva cuenta en tu primer inicio de sesión. Alternativamente, puedes registrarte usando tu dirección de correo electrónico.
Paso 2: Gestiona la clave de API de LLM de Novita AI
Novita AI asegura el acceso a la API mediante autenticación Bearer, incluyendo una clave de API en el encabezado de la solicitud, como “Authorization: Bearer {API Key}”.
Para gestionar tus claves, navega a “Gestión de claves” en la configuración. Se genera automáticamente una clave predeterminada en tu primer inicio de sesión. Puedes crear claves adicionales haciendo clic en “+ Agregar nueva clave”.
Paso 3: Descarga AnythingLLM para escritorio
Ve a AnythingLLM y descarga la última versión para tu computadora.
Paso 4: Selecciona Novita AI como proveedor de LLM e ingresa la clave de API de Novita
Selecciona Novita AI de la lista de proveedores de LLM en la configuración de AnythingLLM. Luego, completa tu clave de API de LLM de Novita AI y establece el modelo que deseas usar.
¿Cómo instalar AnythingLLM en Linux localmente?
Para usuarios de Linux, puedes instalar AnythingLLM ejecutando este comando en la terminal:
curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
Esto descargará la última versión de la AppImage de AnythingLLM, la descomprimirá y luego creará un enlace simbólico para ejecutar AnythingLLM sin problemas. Este script descomprimirá la aplicación en $HOME/AnythingLLMDesktop.
Puedes iniciar la aplicación en cualquier momento ejecutando ./AnythingLLMDesktop/start. Esto iniciará la aplicación con registro completo.
Preguntas frecuentes
¿Dónde se guardan los documentos en Anything LLM?
Al usar AnythingLLM, todos los documentos y datos se almacenan de forma segura en el dispositivo donde se ejecuta AnythingLLM, ya sea una máquina local o AnythingLLM Cloud.
¿Por qué usar AnythingLLM en lugar de un LLM con un plugin de PDF?
AnythingLLM otorga control completo sobre el acceso, los permisos y el uso compartido de datos en cualquier LLM y base de datos vectorial, garantizando flexibilidad y seguridad. Puede ejecutarse completamente sin conexión, basándose únicamente en servicios locales, por lo que la privacidad permanece intacta sin exposición a terceros.
¿Cómo usar modelos de embedding descargados de hugging face?
Una vez que hayas descargado un modelo, probablemente en formato GGUF, necesitarás una configuración de proveedor de LLM para ejecutarlo de manera efectiva. LocalAI y LMStudio ofrecen entornos donde puedes instalar y ejecutar modelos fácilmente. Además, te recomendamos probar Novita AI, que también proporciona modelos para diferentes escenarios.
¿Cómo usar Anything LLM en Docker?
Puedes consultar esta página para saber cómo almacenar localmente y ejecutar AnythingLLM en Docker en Windows, MacOS, Linux o Docker Compose.
Conclusión
Con el soporte de Novita AI para AnythingLLM, los usuarios obtienen una herramienta potente y versátil que combina los modelos de lenguaje avanzados de Novita con la sólida gestión de documentos y la funcionalidad de espacio de trabajo seguro de AnythingLLM. Esta integración permite a los usuarios analizar PDFs de manera eficiente, manejar datos diversos y participar en interacciones complejas y organizadas, todo dentro de un entorno centrado en la privacidad que admite tanto el uso local como en la nube. Ya sea para investigación, creación de contenido o análisis de datos, Novita AI y AnythingLLM juntos ofrecen una solución integral adaptada a las necesidades profesionales de IA y manejo de documentos.
Publicado originalmente en Novita AI
Novita AI es una plataforma de nube de IA que ofrece a los desarrolladores una forma sencilla de implementar modelos de IA utilizando nuestra API simple, al mismo tiempo que proporciona una nube de GPU asequible y confiable para construir y escalar.
Lectura recomendada
1.Utiliza Clipboard Conqueror con la clave de API de Novita AI para la productividad del desarrollador
2.Aprovecha los LLMs de Novita AI en LobeChat con tu clave de API
