Puntos clave
- Capacidad bilingüe y razonamiento avanzados: Construido sobre Yi-34B, este modelo destaca en tareas bilingües y razonamiento complejo.
- Entrenamiento innovador y longitud de contexto sin precedentes: Entrenado con una longitud de contexto de 200K en el conjunto de datos Capybara, ofrece una comprensión contextual profunda y respuestas precisas.
- Versatilidad y capacidades multimodales: Maneja diálogos multiturno e integra procesamiento multimodal mediante Obsidian, logrando un rendimiento similar al de modelos más grandes de 7B.
- Integridad de datos y aplicaciones prácticas: Garantiza la integridad del conjunto de datos mediante controles rigurosos y admite diversas aplicaciones como comprensión avanzada del lenguaje, chatbots sofisticados y análisis multimodal.
- Otros LLM de NousResearch: Nous-Hermes-2-Mixtral-8x7B-DPO, nous-hermes-llama2–13b y hermes-2-pro-llama-3–8b en Novita AI.
Introducción
Bienvenido al mundo del modelo Nous Capybara 34B, un innovador modelo de IA que no solo es bilingüe, sino que también sobresale en comprensión y razonamiento.
En este blog, profundizaremos en los detalles de este modelo, entrenado sobre el formidable Yi-34B con una longitud de contexto sin precedentes de 200K. Exploraremos sus detalles técnicos, características únicas, aplicaciones prácticas y otros modelos de NousResearch. Así que, embarquémonos en este viaje para descubrir el potencial del modelo Nous Capybara 34B.
Explorando el modelo Nous Capybara 34B
El modelo Nous Capybara 34B está entrenado sobre el modelo Yi-34B con una longitud de contexto de 200K, durante 3 épocas en el conjunto de datos Capybara.
Yi-34B
El modelo Yi-34B de 01.AI está diseñado específicamente como un modelo de lenguaje bilingüe, entrenado en un extenso corpus multilingüe de 3TB, lo que lo posiciona como uno de los LLM más formidables a nivel mundial.
Yi-34B sobresale en diversas tareas lingüísticas como comprensión, razonamiento de sentido común y comprensión lectora. Sus capacidades se evidencian por su impresionante rendimiento en el AlpacaEval Leaderboard, donde el modelo Yi-34B-Chat obtuvo el segundo lugar, solo detrás de GPT-4 Turbo, y superó a otros LLM líderes como GPT-4 y Mixtral. Además, el modelo Yi-34B ha sido reconocido por sus altas clasificaciones entre todos los modelos de código abierto tanto en inglés como en chino en diferentes benchmarks, según se indica en el Hugging Face Open LLM Leaderboard y C-Eval.
Primero en su clase
- Primer modelo Nous de 34B: Este es el modelo pionero en la serie Nous, marcando un hito significativo en el desarrollo de IA.
- Primer modelo con longitud de contexto de 200K: Establece un nuevo estándar con su capacidad para procesar contexto extenso, ofreciendo una comprensión más profunda y respuestas más matizadas.
Entrenamiento y conjunto de datos
La mayoría de los tokens en el modelo Capybara son el resultado de nueva síntesis, principalmente de conjuntos de datos como Puffin y Dove. Sin embargo, es importante reconocer el papel de los conjuntos de datos de una sola vuelta que sirvieron como base, o ‘semillas’, para crear las conversaciones multiturno dentro del proceso de síntesis Amplify-Instruct. Los conjuntos de datos en verde son fuentes de las cuales seleccionamos semillas para la síntesis en este proyecto, mientras que los conjuntos en azul representan colecciones curadas que ya estaban en su lugar antes del desarrollo de Capybara.
Equipo de desarrollo y agradecimientos
- Liderazgo: Liderado por Luigi D. (LDJ) y apoyado por J-Supha y Jeffrey Q., la experiencia del equipo es evidente en las capacidades del modelo.
- Patrocinio: Agradecidos por el apoyo de A16Z y Yield Protocol, que facilitaron el proceso de investigación y desarrollo.
Características clave de Nous Capybara 34B
Modelo base Yi-34B
Construido sobre una base sólida, capaz de manejar contexto extenso y tareas complejas.
Conversaciones multiturno
Más del 60% del conjunto de datos se centra en diálogos multiturno, una ventaja significativa sobre los modelos entrenados para interacciones de una sola vuelta.
Resúmenes avanzados
Entrenado para resumir eficazmente temas y estudios complejos, mostrando sus capacidades avanzadas de razonamiento.
Recuperación histórica
Capaz de recordar información hasta finales de 2022 sin acceso a internet, demostrando su extensa base de conocimientos.
Multimodalidad
El modelo Nous Capybara 34B, a través de su extensión multimodal Obsidian-3B-V0.5, introduce una capacidad revolucionaria para procesar y comprender tanto datos de texto como visuales. Construido sobre la sólida base de Capybara-3B-V1.9 y aprovechando StableLM-3B-4e1t, Obsidian se destaca como el modelo de lenguaje grande multimodal (LLM) más pequeño del mundo, ofreciendo un rendimiento de vanguardia que rivaliza con algunos modelos de 7B.
Garantizando la integridad del conjunto de datos Capybara
Los desarrolladores realizaron algunos efectos de contaminación de datos con respecto a benchmarks populares. Aquí hay un resumen de los pasos que tomaron:
Verificación de contaminación
Realizaron una verificación exhaustiva para asegurarse de que el conjunto de datos Capybara no contuviera contaminación de otros conjuntos de datos populares.
Técnica Minhash
Utilizaron la técnica minhash para comparar su conjunto de datos con otros benchmarks. Esta técnica ayuda a identificar similitudes entre conjuntos de datos.
Niveles de similitud
Los desarrolladores verificaron coincidencias de similitud en varios niveles, incluyendo 100%, 99%, 98% y 97%. Este enfoque integral aseguró que incluso las coincidencias cercanas fueran identificadas y abordadas.
Benchmarks verificados
Verificaron específicamente contra varios benchmarks como HumanEval, AGIEval, TruthfulQA, MMLU y GPT4All para asegurarse de que su conjunto de datos no contuviera datos de estas fuentes.
Sin coincidencias exactas
Los esfuerzos resultaron en no encontrar coincidencias exactas ni siquiera coincidencias cercanas hasta el nivel de similitud del 97%, lo que indica que el conjunto de datos Capybara está libre de contaminación.
Aplicaciones prácticas de Nous Capybara 34B para desarrolladores
Dadas las fortalezas del modelo Nous Capybara 34B, aquí están algunas de las aplicaciones más pertinentes para los desarrolladores:
Comprensión avanzada del lenguaje
Utiliza las capacidades bilingües del modelo para desarrollar aplicaciones que requieran una comprensión profunda del inglés y el chino, como motores de búsqueda multilingües, servicios de traducción y herramientas de análisis de contenido transcultural.
Chatbots sofisticados
Implementa el modelo en chatbots de servicio al cliente que puedan manejar consultas complejas y mantener el contexto a lo largo de conversaciones multiturno, proporcionando una interacción más similar a la humana.
Generación automatizada de contenido
Aplica la capacidad del modelo para generar resúmenes avanzados y contenido complejo para automatizar la redacción de informes, la rotación de artículos o la creación de contenido para redes sociales.
Educación y aprendizaje
Aprovecha las habilidades de comprensión del modelo para desarrollar plataformas de aprendizaje adaptativo que ofrezcan contenido educativo personalizado y sesiones interactivas de preguntas y respuestas.
Análisis multimodal
Con la extensión Obsidian, crea aplicaciones que analicen e interpreten datos visuales y textuales, útiles para sistemas de etiquetado de imágenes, descripción y recuperación en comercio electrónico o gestión de medios.
Información basada en datos
Usa la capacidad del modelo para resúmenes complejos y desarrolla herramientas de inteligencia empresarial que analicen grandes conjuntos de datos y generen información procesable para la toma de decisiones.
Búsqueda semántica
Integra el modelo en aplicaciones de búsqueda para mejorar los resultados mediante la comprensión del contexto semántico de las consultas, mejorando la precisión y relevancia.
Construcción de bases de conocimiento
Usa el modelo para construir y mantener una base de conocimiento dinámica que se actualice continuamente con nueva información de diversas fuentes.
Desarrollos futuros de Nous Capybara 34B
Ampliación de tamaños
Con versiones actuales en 3B, 7B y 34B, están en marcha planes para versiones de 13B, 70B y potencialmente un modelo de 1B basado en phi-1.5 o Tiny Llama.
Próximos benchmarks
El lanzamiento de benchmarks se acerca para evaluar el rendimiento del modelo frente a los estándares de la industria.
¿Cuáles son otros modelos desarrollados por NousResearch?
Novita AI ofrece a los desarrolladores una gama de opciones de API LLM, con modelos desarrollados por NousResearch. Novita AI LLM API incluye capacidades para ajustes de hiperparámetros y avisos del sistema personalizables, adaptados a las necesidades individuales.
Nous-Hermes-2-Mixtral-8x7B-DPO en Novita AI
Nous Hermes 2 Mixtral 8x7B DPO es el nuevo modelo insignia de Nous Research entrenado sobre el LLM MoE Mixtral 8x7B. El modelo fue entrenado en más de 1,000,000 de entradas de datos generados principalmente por GPT-4, así como otros datos de alta calidad de conjuntos de datos abiertos en el panorama de la IA, logrando un rendimiento de vanguardia en una variedad de tareas.
nousresearch/nous-hermes-llama2–13b en Novita AI
Nous-Hermes-Llama2–13b es un modelo de lenguaje de última generación ajustado en más de 300,000 instrucciones. Este modelo fue ajustado por Nous Research, con Teknium y Emozilla liderando el proceso de ajuste y curación del conjunto de datos, Redmond AI patrocinando la computación, y varios otros colaboradores.
nousresearch/hermes-2-pro-llama-3–8b en Novita AI
Hermes 2 Pro es una versión mejorada y reentrenada de Nous Hermes 2, que consiste en una versión actualizada y limpiada del conjunto de datos OpenHermes 2.5, así como un conjunto de datos de Llamadas a Funciones y Modo JSON recién introducido desarrollado internamente.
Conclusión
Comenzando con su entrenamiento fundamental en el modelo Yi-34B y el conjunto de datos Capybara, Nous Capybara 34B se destaca por su capacidad para manejar contexto extenso y tareas complejas en diversos dominios. Características clave como el manejo de conversaciones multiturno, capacidades avanzadas de resumen y procesamiento multimodal con la extensión Obsidian subrayan su versatilidad y sofisticación. Además, los rigurosos esfuerzos para garantizar la integridad del conjunto de datos mediante verificaciones de contaminación han consolidado su fiabilidad para aplicaciones prácticas.
De cara al futuro, los desarrollos venideros del modelo Nous Capybara 34B prometen capacidades aún mayores con tamaños expandidos y próximos benchmarks para validar su rendimiento frente a los estándares de la industria. Como parte de las ofertas de Novita AI, incluidos otros modelos desarrollados por NousResearch como Nous Hermes 2 Mixtral 8x7B DPO y Nous-Hermes-Llama2–13b, este modelo representa un pilar en la evolución de las soluciones impulsadas por IA.
Novita AI es la plataforma integral en la nube que impulsa tus ambiciones de IA. Con API integradas sin problemas, computación sin servidor y aceleración de GPU, proporcionamos las herramientas rentables que necesitas para construir y escalar rápidamente tu negocio impulsado por IA. Elimina los dolores de cabeza de la infraestructura y comienza gratis — Novita AI hace realidad tus sueños de IA.
Lectura recomendada
Lanzando las API LLM de novita.ai: La interfaz más rentable disponible
