Points clés
- Capacité bilingue avancée et raisonnement : Construit sur Yi-34B, ce modèle excelle dans les tâches bilingues et le raisonnement complexe.
- Entraînement innovant et longueur de contexte inédite : Entraîné avec une longueur de contexte de 200 000 tokens sur le jeu de données Capybara, il offre une compréhension contextuelle profonde et des réponses précises.
- Polyvalence et capacités multimodales : Gère les dialogues multi-tours et intègre le traitement multimodal via Obsidian, atteignant des performances comparables à celles de modèles 7B plus grands.
- Intégrité des données et applications pratiques : Garantit l’intégrité du jeu de données grâce à des vérifications rigoureuses et prend en charge diverses applications telles que la compréhension avancée du langage, les chatbots sophistiqués et l’analyse multimodale.
- Autres LLM de NousResearch : Nous-Hermes-2-Mixtral-8x7B-DPO, nous-hermes-llama2–13b et hermes-2-pro-llama-3–8b sur Novita AI.
Introduction
Bienvenue dans l’univers du modèle Nous Capybara 34B, un modèle d’IA révolutionnaire qui n’est pas seulement bilingue, mais excelle également dans la compréhension et le raisonnement.
Dans cet article, nous explorerons les subtilités de ce modèle, entraîné sur le puissant Yi-34B avec une longueur de contexte inédite de 200 000 tokens. Nous analyserons ses détails techniques, ses caractéristiques uniques, ses applications pratiques, ainsi que d’autres modèles de NousResearch. Embarquons donc pour ce voyage à la découverte du potentiel du modèle Nous Capybara 34B.
Exploration du modèle Nous Capybara 34B
Le modèle Nous Capybara 34B est entraîné sur le modèle Yi-34B avec une longueur de contexte de 200 000 tokens, pendant 3 époques sur le jeu de données Capybara.
Yi-34B
Le modèle Yi-34B de 01.AI est spécialement conçu comme un modèle de langage bilingue, entraîné sur un vaste corpus multilingue de 3 To, ce qui en fait l’un des LLM les plus puissants au monde.
Yi-34B excelle dans diverses tâches linguistiques telles que la compréhension, le raisonnement de bon sens et la compréhension écrite. Ses capacités sont attestées par ses performances impressionnantes sur le classement AlpacaEval, où le modèle Yi-34B-Chat a obtenu la deuxième place, seulement derrière GPT-4 Turbo, et a surpassé d’autres LLM de premier plan comme GPT-4 et Mixtral. De plus, le modèle Yi-34B a été reconnu pour ses meilleurs classements parmi tous les modèles open source en anglais et en chinois sur différents benchmarks, comme indiqué sur le classement Hugging Face Open LLM et C-Eval.
Premier du genre
- Premier modèle Nous de 34B : C’est le modèle pionnier de la série Nous, marquant une étape importante dans le développement de l’IA.
- Premier modèle avec une longueur de contexte de 200K : Il établit une nouvelle norme avec sa capacité à traiter un contexte étendu, offrant une compréhension plus profonde et des réponses plus nuancées.
Entraînement et jeu de données
La majorité des tokens du modèle Capybara sont le résultat d’une nouvelle synthèse, principalement à partir de jeux de données tels que Puffin et Dove. Cependant, il est important de reconnaître le rôle des jeux de données à un seul tour qui ont servi de base, ou de « graines », pour créer les conversations multi-tours dans le processus de synthèse Amplify-Instruct. Les jeux de données en vert sont les sources à partir desquelles nous avons sélectionné des graines pour la synthèse de ce projet, tandis que les jeux de données en bleu représentent des collections organisées déjà en place avant le développement de Capybara.
Équipe de développement et remerciements
- Direction : Dirigée par Luigi D. (LDJ) et soutenue par J-Supha et Jeffrey Q., l’expertise de l’équipe est évidente dans les capacités du modèle.
- Parrainage : Remerciements pour le soutien d’A16Z et Yield Protocol, qui ont facilité le processus de recherche et de développement.
Caractéristiques clés de Nous Capybara 34B
Modèle de base Yi-34B
Construit sur une base solide, capable de gérer un contexte étendu et des tâches complexes.
Conversations multi-tours
Plus de 60 % du jeu de données se concentre sur des dialogues multi-tours, un avantage significatif par rapport aux modèles entraînés pour des interactions à un seul tour.
Résumés avancés
Entraîné à résumer efficacement des sujets et des études complexes, démontrant ses capacités de raisonnement avancé.
Rappel historique
Capable de rappeler des informations jusqu’à fin 2022 sans accès à Internet, démontrant sa vaste base de connaissances.
Multimodalité
Le modèle Nous Capybara 34B, grâce à son extension multimodale Obsidian-3B-V0.5, introduit une capacité révolutionnaire à traiter et comprendre à la fois des données textuelles et visuelles. Construit sur la solide base de Capybara-3B-V1.9 et exploitant StableLM-3B-4e1t, Obsidian se distingue comme le plus petit modèle de langage multimodal (LLM) au monde, offrant des performances de pointe qui rivalisent avec certains modèles 7B.
Garantie de l’intégrité du jeu de données Capybara
Les développeurs ont pris en compte certains effets de contamination des données concernant les benchmarks populaires. Voici un résumé des mesures qu’ils ont prises :
Vérification de contamination
Ils ont effectué une vérification approfondie pour s’assurer que le jeu de données Capybara ne contenait aucune contamination provenant d’autres jeux de données populaires.
Technique Minhash
Ils ont utilisé la technique minhash pour comparer leur jeu de données avec d’autres benchmarks. Cette technique permet d’identifier les similitudes entre les jeux de données.
Niveaux de similarité
Les développeurs ont vérifié les correspondances de similarité à différents niveaux, notamment 100 %, 99 %, 98 % et 97 %. Cette approche exhaustive a permis d’identifier et de traiter même les correspondances proches.
Benchmarks vérifiés
Ils ont spécifiquement vérifié plusieurs benchmarks tels que HumanEval, AGIEval, TruthfulQA, MMLU et GPT4All pour s’assurer que leur jeu de données ne contenait pas de données provenant de ces sources.
Aucune correspondance exacte
Ces efforts n’ont abouti à aucune correspondance exacte, ni même proche jusqu’au niveau de similarité de 97 %, indiquant que le jeu de données Capybara est exempt de contamination.
Applications pratiques de Nous Capybara 34B pour les développeurs
Compte tenu des atouts du modèle Nous Capybara 34B, voici quelques-unes des applications les plus pertinentes pour les développeurs :
Compréhension avancée du langage
Utilisez les capacités bilingues du modèle pour développer des applications nécessitant une compréhension approfondie de l’anglais et du chinois, comme les moteurs de recherche multilingues, les services de traduction et les outils d’analyse de contenu interculturel.
Chatbots sophistiqués
Implémentez le modèle dans des chatbots de service client capables de gérer des requêtes complexes et de maintenir le contexte lors de conversations multi-tours, offrant une interaction plus humaine.
Génération automatisée de contenu
Appliquez la capacité du modèle à générer des résumés avancés et du contenu complexe pour automatiser la rédaction de rapports, le reformatage d’articles ou la création de contenu pour les réseaux sociaux.
Éducation et apprentissage
Tirez parti des compétences de compréhension du modèle pour développer des plateformes d’apprentissage adaptatives offrant un contenu éducatif personnalisé et des sessions de questions-réponses interactives.
Analyse multimodale
Avec l’extension Obsidian, créez des applications qui analysent et interprètent à la fois des données visuelles et textuelles, utiles pour le marquage d’images, la description et les systèmes de recherche dans le commerce électronique ou la gestion de médias.
Informations basées sur les données
Utilisez la capacité du modèle à produire des résumés complexes pour développer des outils d’intelligence d’affaires qui analysent de grands ensembles de données et génèrent des informations exploitables pour la prise de décision.
Recherche sémantique
Intégrez le modèle dans des applications de recherche pour améliorer les résultats en comprenant le contexte sémantique des requêtes, améliorant ainsi la précision et la pertinence.
Construction de bases de connaissances
Utilisez le modèle pour construire et maintenir une base de connaissances dynamique qui se met à jour en continu avec de nouvelles informations provenant de diverses sources.
Développements futurs de Nous Capybara 34B
Extension des tailles
Avec les versions actuelles à 3B, 7B et 34B, des plans pour des modèles à 13B, 70B et potentiellement un modèle à 1B basé sur phi-1.5 ou Tiny Llama sont en cours.
Benchmarks à venir
La publication des benchmarks est imminente pour évaluer les performances du modèle par rapport aux normes de l’industrie.
Quels sont les autres modèles développés par NousResearch
Novita AI propose aux développeurs une gamme d’options d’API LLM, incluant des modèles développés par NousResearch. L’API LLM de Novita AI inclut des capacités d’ajustement des hyperparamètres et des invites système personnalisables, adaptées aux besoins individuels.
Nous-Hermes-2-Mixtral-8x7B-DPO sur Novita AI
Nous Hermes 2 Mixtral 8x7B DPO est le nouveau modèle phare de Nous Research entraîné sur le LLM MoE Mixtral 8x7B. Le modèle a été entraîné sur plus d’un million d’entrées provenant principalement de données générées par GPT-4, ainsi que d’autres données de haute qualité issues de jeux de données ouverts du paysage de l’IA, atteignant des performances de pointe sur une variété de tâches.
nousresearch/nous-hermes-llama2–13b sur Novita AI
Nous-Hermes-Llama2–13b est un modèle de langage de pointe affiné sur plus de 300 000 instructions. Ce modèle a été affiné par Nous Research, avec Teknium et Emozilla à la tête du processus d’affinage et de la curation du jeu de données, Redmond AI sponsorisant le calcul, et plusieurs autres contributeurs.
nousresearch/hermes-2-pro-llama-3–8b sur Novita AI
Hermes 2 Pro est une version améliorée et réentraînée de Nous Hermes 2, comprenant une version mise à jour et nettoyée du jeu de données OpenHermes 2.5, ainsi qu’un nouveau jeu de données d’appel de fonctions et de mode JSON développé en interne.
Conclusion
En commençant par son entraînement fondamental sur le modèle Yi-34B et le jeu de données Capybara, Nous Capybara 34B se distingue par sa capacité à traiter un contexte étendu et des tâches complexes dans divers domaines. Des caractéristiques clés telles que la gestion des conversations multi-tours, les capacités de résumé avancé et le traitement multimodal avec l’extension Obsidian soulignent sa polyvalence et sa sophistication. De plus, les efforts rigoureux pour garantir l’intégrité du jeu de données via des vérifications de contamination ont renforcé sa fiabilité pour les applications pratiques.
En regardant vers l’avenir, les développements futurs du modèle Nous Capybara 34B promettent des capacités encore plus grandes avec des tailles étendues et des benchmarks à venir pour valider ses performances par rapport aux normes de l’industrie. Dans le cadre des offres de Novita AI, y compris d’autres modèles développés par NousResearch comme Nous Hermes 2 Mixtral 8x7B DPO et Nous-Hermes-Llama2–13b, ce modèle représente une pierre angulaire dans l’évolution des solutions basées sur l’IA.
Novita AI est la plateforme cloud tout-en-un qui permet de concrétiser vos ambitions en matière d’IA. Avec des API intégrées de manière transparente, du calcul sans serveur et une accélération GPU, nous fournissons les outils rentables dont vous avez besoin pour construire et faire évoluer rapidement votre entreprise axée sur l’IA. Éliminez les problèmes d’infrastructure et commencez gratuitement — Novita AI donne vie à vos rêves d’IA.
Lectures recommandées
Lancement des API LLM de novita.ai : l’interface la plus rentable disponible
