Destaques Principais
- Capacidade Bilíngue Avançada e Raciocínio: Construído sobre o Yi-34B, este modelo se destaca em tarefas bilíngues e raciocínio complexo.
- Treinamento Inovador e Comprimento de Contexto Sem Precedentes: Treinado com 200K de comprimento de contexto no conjunto de dados Capybara, oferece compreensão contextual profunda e respostas precisas.
- Versatilidade e Capacidades Multimodais: Lida com diálogos de múltiplas voltas e integra processamento multimodal via Obsidian, alcançando desempenho semelhante a modelos 7B maiores.
- Integridade dos Dados e Aplicações Práticas: Garante a integridade do conjunto de dados por meio de verificações rigorosas e suporta diversas aplicações, como compreensão avançada de linguagem, chatbots sofisticados e análise multimodal.
- Outros LLMs da NousResearch: Nous-Hermes-2-Mixtral-8x7B-DPO, nous-hermes-llama2–13b e hermes-2-pro-llama-3–8b no Novita AI.
Introdução
Bem-vindo ao mundo do modelo Nous Capybara 34B, um modelo de IA inovador que não é apenas bilíngue, mas também se destaca na compreensão e raciocínio.
Neste blog, vamos nos aprofundar nos detalhes deste modelo, treinado no formidável Yi-34B com um comprimento de contexto sem precedentes de 200K. Exploraremos seus detalhes técnicos, características únicas, aplicações práticas e outros modelos da NousResearch. Então, embarquemos nesta jornada para descobrir o potencial do modelo Nous Capybara 34B.
Explorando o Modelo Nous Capybara 34B
O modelo Nous Capybara 34B é treinado no modelo Yi-34B com 200K de comprimento de contexto, por 3 épocas no conjunto de dados Capybara.
Yi-34B
O modelo Yi-34B da 01.AI é especificamente projetado como um modelo de linguagem bilíngue, treinado em um extenso corpus multilíngue de 3TB, o que o posiciona como um dos LLMs mais formidáveis globalmente.
O Yi-34B se destaca em várias tarefas de linguagem, como compreensão, raciocínio de senso comum e compreensão de leitura. Suas capacidades são evidenciadas por seu desempenho impressionante no AlpacaEval Leaderboard, onde o modelo Yi-34B-Chat conquistou o segundo lugar, apenas atrás do GPT-4 Turbo, e superou outros LLMs líderes como GPT-4 e Mixtral. Além disso, o modelo Yi-34B foi reconhecido por suas classificações superiores entre todos os modelos de código aberto tanto em inglês quanto em chinês em diferentes benchmarks, conforme observado no Hugging Face Open LLM Leaderboard e C-Eval.
Primeiro do Seu Tipo
- Primeiro Modelo Nous de 34B: Este é o modelo pioneiro na série Nous, marcando um marco significativo no desenvolvimento de IA.
- Primeiro Modelo com Comprimento de Contexto de 200K: Ele estabelece um novo padrão com sua capacidade de processar contexto extenso, oferecendo compreensão mais profunda e respostas mais nuances.
Treinamento e Conjunto de Dados
A maioria dos tokens no modelo Capybara resulta de nova síntese, principalmente de conjuntos de dados como Puffin e Dove. No entanto, é importante reconhecer o papel dos conjuntos de dados de única volta que serviram como base, ou ‘sementes’, para criar as conversas de múltiplas voltas dentro do processo de síntese Amplify-Instruct. Os conjuntos de dados em verde são fontes das quais selecionamos sementes para a síntese neste projeto, enquanto os conjuntos de dados em azul representam coleções curadas que já estavam em vigor antes do desenvolvimento do Capybara.
Equipe de Desenvolvimento e Agradecimentos
- Liderança: Liderado por Luigi D. (LDJ) e apoiado por J-Supha e Jeffrey Q., a expertise da equipe é evidente nas capacidades do modelo.
- Patrocínio: Gratos pelo apoio da A16Z e Yield Protocol, que facilitou o processo de pesquisa e desenvolvimento.
Principais Características do Nous Capybara 34B
Modelo Base Yi-34B
Construído sobre uma base sólida, capaz de lidar com contexto extenso e tarefas complexas.
Conversas de Múltiplas Voltas
Mais de 60% do conjunto de dados foca em diálogos de múltiplas voltas, uma vantagem significativa sobre modelos treinados para interações de única volta.
Resumos Avançados
Treinado para resumir efetivamente tópicos e estudos complexos, demonstrando suas capacidades avançadas de raciocínio.
Recordação Histórica
Capaz de recordar informações até o final de 2022 sem acesso à internet, demonstrando sua extensa base de conhecimento.
Multimodalidade
O modelo Nous Capybara 34B, por meio de sua extensão multimodal Obsidian-3B-V0.5, introduz uma capacidade inovadora de processar e compreender dados textuais e visuais. Construído sobre a base sólida do Capybara-3B-V1.9 e aproveitando o StableLM-3B-4e1t, o Obsidian se destaca como o menor modelo de linguagem grande (LLM) multimodal do mundo, oferecendo desempenho de ponta que rivaliza com alguns modelos 7B.
Garantindo a Integridade do Conjunto de Dados Capybara
Os desenvolvedores realizaram alguns efeitos de contaminação de dados em relação a benchmarks populares. Aqui está um resumo das etapas que eles tomaram:
Verificação de Contaminação
Eles realizaram uma verificação minuciosa para garantir que o conjunto de dados Capybara não continha contaminação de outros conjuntos de dados populares.
Técnica Minhash
Eles utilizaram a técnica minhash para comparar seu conjunto de dados com outros benchmarks. Essa técnica ajuda a identificar similaridades entre conjuntos de dados.
Níveis de Similaridade
Os desenvolvedores verificaram correspondências de similaridade em vários níveis, incluindo 100%, 99%, 98% e 97%. Essa abordagem abrangente garantiu que mesmo correspondências próximas fossem identificadas e tratadas.
Benchmarks Verificados
Eles verificaram especificamente contra vários benchmarks, como HumanEval, AGIEval, TruthfulQA, MMLU e GPT4All, para garantir que seu conjunto de dados não continha dados dessas fontes.
Nenhuma Correspondência Exata
Os esforços resultaram em nenhuma correspondência exata ou mesmo correspondências próximas até o nível de similaridade de 97%, indicando que o conjunto de dados Capybara está livre de contaminação.
Aplicações Práticas do Nous Capybara 34B para Desenvolvedores
Dadas as forças do modelo Nous Capybara 34B, aqui estão algumas das aplicações mais pertinentes para desenvolvedores:
Compreensão Avançada de Linguagem
Utilize as capacidades bilíngues do modelo para desenvolver aplicações que exigem uma compreensão profunda de inglês e chinês, como mecanismos de busca multilíngues, serviços de tradução e ferramentas de análise de conteúdo intercultural.
Chatbots Sofisticados
Implemente o modelo em chatbots de atendimento ao cliente que podem lidar com consultas complexas e manter contexto ao longo de conversas de múltiplas voltas, proporcionando uma interação mais humana.
Geração Automatizada de Conteúdo
Aplique a capacidade do modelo de gerar resumos avançados e conteúdo complexo para automatizar a redação de relatórios, rotação de artigos ou criação de conteúdo para mídias sociais.
Educação e Aprendizado
Aproveite as habilidades de compreensão do modelo para desenvolver plataformas de aprendizado adaptativo que oferecem conteúdo educacional personalizado e sessões interativas de perguntas e respostas.
Análise Multimodal
Com a extensão Obsidian, crie aplicações que analisam e interpretam dados visuais e textuais, úteis para sistemas de marcação, descrição e recuperação de imagens em e-commerce ou gerenciamento de mídia.
Insights Baseados em Dados
Use a capacidade do modelo para resumos complexos para desenvolver ferramentas de inteligência de negócios que analisam grandes conjuntos de dados e geram insights acionáveis para tomada de decisões.
Busca Semântica
Integre o modelo em aplicações de busca para aprimorar os resultados, compreendendo o contexto semântico das consultas, melhorando precisão e relevância.
Construção de Base de Conhecimento
Use o modelo para construir e manter uma base de conhecimento dinâmica que é continuamente atualizada com novas informações de várias fontes.
Desenvolvimentos Futuros do Nous Capybara 34B
Expansão de Tamanhos
Com versões atuais em 3B, 7B e 34B, planos para 13B, 70B e potencialmente um modelo de 1B baseado em phi-1.5 ou Tiny Llama estão em andamento.
Próximos Benchmarks
O lançamento de benchmarks está próximo para avaliar o desempenho do modelo em relação aos padrões da indústria.
Quais São Outros Modelos Desenvolvidos pela NousResearch
A Novita AI oferece aos desenvolvedores uma variedade de opções de API LLM, apresentando modelos desenvolvidos pela NousResearch. A API LLM da Novita AI inclui capacidades para ajustes de hiperparâmetros e prompts de sistema personalizáveis, adaptados para atender necessidades individuais.
Nous-Hermes-2-Mixtral-8x7B-DPO na Novita AI
Nous Hermes 2 Mixtral 8x7B DPO é o novo modelo flagship da Nous Research treinado sobre o Mixtral 8x7B MoE LLM. O modelo foi treinado em mais de 1.000.000 de entradas de dados gerados principalmente pelo GPT-4, bem como outros dados de alta qualidade de conjuntos de dados abertos em todo o cenário de IA, alcançando desempenho de ponta em uma variedade de tarefas.
nousresearch/nous-hermes-llama2–13b na Novita AI
Nous-Hermes-Llama2–13b é um modelo de linguagem de ponta ajustado em mais de 300.000 instruções. Este modelo foi ajustado pela Nous Research, com Teknium e Emozilla liderando o processo de ajuste fino e curadoria do conjunto de dados, Redmond AI patrocinando o poder computacional, e vários outros contribuidores.
nousresearch/hermes-2-pro-llama-3–8b na Novita AI
Hermes 2 Pro é uma versão atualizada e retreinada do Nous Hermes 2, consistindo em uma versão atualizada e limpa do Conjunto de Dados OpenHermes 2.5, bem como um conjunto de dados de Chamada de Função e Modo JSON recém-introduzido, desenvolvido internamente.
Conclusão
Começando com seu treinamento fundamental no modelo Yi-34B e no conjunto de dados Capybara, o Nous Capybara 34B se destaca por sua capacidade de lidar com contexto extenso e tarefas complexas em vários domínios. Características principais, como manipulação de conversas de múltiplas voltas, capacidades avançadas de sumarização e processamento multimodal com a extensão Obsidian, sublinham sua versatilidade e sofisticação. Além disso, esforços rigorosos para garantir a integridade do conjunto de dados por meio de verificações de contaminação solidificaram sua confiabilidade para aplicações práticas.
Olhando para o futuro, os desenvolvimentos futuros do modelo Nous Capybara 34B prometem capacidades ainda maiores com tamanhos expandidos e próximos benchmarks para validar seu desempenho em relação aos padrões da indústria. Como parte das ofertas da Novita AI, incluindo outros modelos desenvolvidos pela NousResearch, como Nous Hermes 2 Mixtral 8x7B DPO e Nous-Hermes-Llama2–13b, este modelo representa uma pedra angular na evolução das soluções impulsionadas por IA.
Novita AI é a plataforma tudo-em-um na nuvem que impulsiona suas ambições de IA. Com APIs perfeitamente integradas, computação serverless e aceleração de GPU, fornecemos as ferramentas econômicas que você precisa para construir e escalar rapidamente seu negócio impulsionado por IA. Elimine dores de cabeça de infraestrutura e comece gratuitamente — Novita AI torna seus sonhos de IA realidade.
Leitura Recomendada
Lançando as APIs LLM da novita.ai: A Interface Mais Custo-Efetiva Disponível
