주요 내용
- 고급 이중 언어 능력 및 추론: Yi-34B 기반으로 구축되어 이중 언어 작업과 복잡한 추론에서 뛰어난 성능을 발휘합니다.
- 혁신적인 훈련과 전례 없는 컨텍스트 길이: Capybara 데이터셋에서 200K 컨텍스트 길이로 훈련되어 깊은 맥락 이해와 정확한 응답을 제공합니다.
- 다양성과 다중 모달 기능: 다중 턴 대화를 처리하고 Obsidian을 통해 다중 모달 처리를 통합하여 대규모 7B 모델과 유사한 성능을 달성합니다.
- 데이터 무결성 및 실제 적용: 엄격한 검사를 통해 데이터셋 무결성을 보장하며 고급 언어 이해, 정교한 챗봇, 다중 모달 분석 등 다양한 응용을 지원합니다.
- NousResearch의 다른 LLM: Novita AI에서 Nous-Hermes-2-Mixtral-8x7B-DPO, nous-hermes-llama2–13b 및 hermes-2-pro-llama-3–8b.
소개
이중 언어일 뿐만 아니라 이해와 추론에 탁월한 혁신적인 AI 모델인 Nous Capybara 34B 모델의 세계에 오신 것을 환영합니다.
이 블로그에서는 전례 없는 200K 컨텍스트 길이로 강력한 Yi-34B에 훈련된 이 모델의 복잡성을 살펴보겠습니다. 기술적 세부 사항, 고유 기능, 실제 적용 및 NousResearch의 다른 모델을 탐구할 것입니다. 그럼 Nous Capybara 34B 모델의 잠재력을 발견하기 위한 여정을 시작해 보겠습니다.
Nous Capybara 34B 모델 탐구
Nous Capybara 34B 모델은 Yi-34B 모델을 기반으로 200K 컨텍스트 길이로 Capybara 데이터셋에서 3 에포크 동안 훈련되었습니다.
Yi-34B
01.AI의 Yi-34B 모델은 방대한 3TB 다국어 코퍼스로 훈련된 이중 언어 언어 모델로 설계되어 전 세계에서 가장 강력한 LLM 중 하나입니다.
Yi-34B는 이해, 상식 추론, 독해 등 다양한 언어 작업에서 탁월합니다. AlpacaEval 리더보드에서 Yi-34B-Chat 모델이 GPT-4 Turbo 다음으로 2위를 차지하고 GPT-4, Mixtral 등 다른 선도적인 LLM을 능가한 인상적인 성능을 통해 그 능력이 입증되었습니다. 또한 Yi-34B 모델은 Hugging Face Open LLM 리더보드와 C-Eval에서 다양한 벤치마크에서 영어와 중국어 모두에서 모든 오픈소스 모델 중 최고 순위를 기록한 것으로 인정받았습니다.
최초의 모델
- 첫 번째 34B Nous 모델: Nous 시리즈의 선구적인 모델로 AI 개발에 중요한 이정표를 세웠습니다.
- 첫 번째 200K 컨텍스트 길이 모델: 광범위한 컨텍스트를 처리할 수 있는 능력으로 새로운 표준을 제시하며 더 깊은 이해와 더 미묘한 응답을 제공합니다.
훈련 및 데이터셋
Capybara 모델의 대부분 토큰은 주로 Puffin 및 Dove 데이터셋에서 새로 합성된 결과입니다. 그러나 Amplify-Instruct 합성 프로세스에서 다중 턴 대화를 생성하기 위한 기반 또는 ‘시드’ 역할을 한 단일 턴 데이터셋의 역할을 인정하는 것이 중요합니다. 녹색 데이터셋은 이 프로젝트의 합성을 위해 시드를 선택한 출처이며, 파란색 데이터셋은 Capybara 개발 전에 이미 마련된 큐레이션 컬렉션을 나타냅니다.
개발 팀 및 감사 인사
- 리더십: Luigi D. (LDJ)가 이끌고 J-Supha와 Jeffrey Q.가 지원하여 팀의 전문성이 모델의 능력에서 드러납니다.
- 후원: 연구 및 개발 프로세스를 지원해 준 A16Z와 Yield Protocol에 감사드립니다.
Nous Capybara 34B의 주요 기능
Yi-34B 기본 모델
광범위한 컨텍스트와 복잡한 작업을 처리할 수 있는 강력한 기반 위에 구축되었습니다.
다중 턴 대화
데이터셋의 60% 이상이 다중 턴 대화에 초점을 맞추고 있어 단일 턴 상호작용을 위해 훈련된 모델에 비해 큰 장점을 제공합니다.
고급 요약
복잡한 주제와 연구를 효과적으로 요약하도록 훈련되어 고급 추론 능력을 보여줍니다.
역사적 회상
인터넷 접속 없이도 2022년 후반까지의 정보를 회상할 수 있어 광범위한 지식 기반을 입증합니다.
다중 모달
Nous Capybara 34B 모델은 다중 모달 확장 Obsidian-3B-V0.5를 통해 텍스트와 시각 데이터를 모두 처리하고 이해하는 획기적인 기능을 도입합니다. Capybara-3B-V1.9의 강력한 기반과 StableLM-3B-4e1t를 활용하는 Obsidian은 세계에서 가장 작은 다중 모달 대규모 언어 모델(LLM)로 두각을 나타내며 일부 7B 모델에 필적하는 최첨단 성능을 제공합니다.
Capybara 데이터셋 무결성 보장
개발자들은 인기 있는 벤치마크와 관련된 데이터 오염 영향을 조사했습니다. 다음은 그들이 취한 단계의 요약입니다.
오염 검사
Capybara 데이터셋에 다른 인기 있는 데이터셋의 오염이 포함되어 있지 않은지 철저히 확인했습니다.
Minhash 기법
minhash 기법을 사용하여 데이터셋을 다른 벤치마크와 비교했습니다. 이 기법은 데이터셋 간의 유사성을 식별하는 데 도움이 됩니다.
유사성 수준
개발자들은 100%, 99%, 98%, 97% 등 다양한 수준에서 유사성 일치를 확인했습니다. 이 포괄적인 접근 방식은 근접 일치도 식별되고 처리되도록 보장했습니다.
확인된 벤치마크
HumanEval, AGIEval, TruthfulQA, MMLU, GPT4All과 같은 여러 벤치마크를 특별히 확인하여 데이터셋에 이러한 출처의 데이터가 포함되지 않도록 했습니다.
정확한 일치 없음
그 결과 97% 유사성 수준까지 정확한 일치 또는 근접 일치가 발견되지 않아 Capybara 데이터셋이 오염되지 않았음을 나타냅니다.
개발자를 위한 Nous Capybara 34B의 실제 적용
Nous Capybara 34B 모델의 강점을 고려할 때 개발자에게 가장 적합한 응용 분야는 다음과 같습니다.
고급 언어 이해
영어와 중국어에 대한 깊은 이해가 필요한 응용 프로그램(예: 다국어 검색 엔진, 번역 서비스, 교차 문화 콘텐츠 분석 도구) 개발에 모델의 이중 언어 능력을 활용합니다.
정교한 챗봇
복잡한 질문을 처리하고 다중 턴 대화에서 맥락을 유지하여 더 인간적인 상호작용을 제공하는 고객 서비스 챗봇에 모델을 구현합니다.
자동 콘텐츠 생성
고급 요약 및 복잡한 콘텐츠 생성 능력을 활용하여 보고서 작성, 문서 스피닝 또는 소셜 미디어 콘텐츠 생성을 자동화합니다.
교육 및 학습
모델의 이해 능력을 활용하여 개인화된 교육 콘텐츠와 대화형 Q&A 세션을 제공하는 적응형 학습 플랫폼을 개발합니다.
다중 모달 분석
Obsidian 확장을 통해 시각 및 텍스트 데이터를 모두 분석하고 해석하는 응용 프로그램을 만들어 전자상거래 또는 미디어 관리에서 이미지 태깅, 설명 및 검색 시스템에 유용합니다.
데이터 기반 인사이트
복잡한 요약 능력을 활용하여 대규모 데이터셋을 분석하고 의사 결정을 위한 실행 가능한 인사이트를 생성하는 비즈니스 인텔리전스 도구를 개발합니다.
의미 검색
검색 응용 프로그램에 모델을 통합하여 질문의 의미적 맥락을 이해함으로써 검색 결과를 향상시키고 정확성과 관련성을 개선합니다.
지식 베이스 구축
다양한 출처의 새로운 정보로 지속적으로 업데이트되는 동적 지식 베이스를 구축하고 유지 관리하는 데 모델을 사용합니다.
Nous Capybara 34B의 향후 개발
크기 확장
현재 3B, 7B, 34B 버전 외에도 phi-1.5 또는 Tiny Llama 기반의 13B, 70B, 잠재적으로 1B 모델 계획이 진행 중입니다.
예정된 벤치마크
업계 표준에 대한 모델 성능을 평가하기 위한 벤치마크가 곧 공개될 예정입니다.
NousResearch에서 개발한 다른 모델
Novita AI는 NousResearch에서 개발한 모델을 포함한 다양한 LLM API 옵션을 개발자에게 제공합니다. Novita AI LLM API는 하이퍼파라미터 조정 및 맞춤형 시스템 프롬프트 기능을 포함하여 개인의 필요에 맞게 조정됩니다.
Novita AI의 Nous-Hermes-2-Mixtral-8x7B-DPO
Nous Hermes 2 Mixtral 8x7B DPO는 Mixtral 8x7B MoE LLM을 기반으로 훈련된 새로운 플래그십 Nous Research 모델입니다. 이 모델은 주로 GPT-4 생성 데이터와 AI 환경 전반의 오픈 데이터셋에서 고품질 데이터를 포함한 1,000,000개 이상의 항목으로 훈련되어 다양한 작업에서 최첨단 성능을 달성했습니다.
Novita AI의 nousresearch/nous-hermes-llama2–13b
Nous-Hermes-Llama2–13b는 300,000개 이상의 지침에 대해 미세 조정된 최첨단 언어 모델입니다. 이 모델은 Nous Research가 미세 조정 과정과 데이터셋 큐레이션을 주도하고 Redmond AI가 컴퓨팅을 후원하며 여러 기여자가 참여하여 미세 조정되었습니다.
Novita AI의 nousresearch/hermes-2-pro-llama-3–8b
Hermes 2 Pro는 Nous Hermes 2의 업그레이드된 재훈련 버전으로, 업데이트되고 정리된 OpenHermes 2.5 데이터셋과 자체 개발한 새로운 함수 호출 및 JSON 모드 데이터셋으로 구성됩니다.
결론
Yi-34B 모델과 Capybara 데이터셋에 기반한 훈련에서 시작하여 Nous Capybara 34B는 다양한 도메인에서 광범위한 컨텍스트와 복잡한 작업을 처리하는 능력으로 두드러집니다. 다중 턴 대화 처리, 고급 요약 능력, Obsidian 확장을 통한 다중 모달 처리와 같은 주요 기능은 그 다양성과 정교함을 강조합니다. 또한 오염 검사를 통해 데이터셋 무결성을 보장하려는 엄격한 노력은 실제 적용에 대한 신뢰성을 강화했습니다.
앞으로 Nous Capybara 34B 모델의 향후 개발은 확장된 크기와 업계 표준에 대한 성능을 검증할 예정인 벤치마크를 통해 더 큰 능력을 약속합니다. Novita AI의 제공 사항 중 Nous Hermes 2 Mixtral 8x7B DPO 및 Nous-Hermes-Llama2–13b와 같은 NousResearch가 개발한 다른 모델과 함께 이 모델은 AI 기반 솔루션 진화의 초석을 나타냅니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 원활하게 통합된 API, 서버리스 컴퓨팅, GPU 가속을 통해 AI 기반 비즈니스를 빠르게 구축하고 확장하는 데 필요한 비용 효율적인 도구를 제공합니다. 인프라 문제를 없애고 무료로 시작하세요 — Novita AI가 AI 꿈을 현실로 만듭니다.
추천 읽을거리
