소개
Teknium이 개발한 혁신적인 데이터셋인 OpenHermes 2.5에 대해 알아보겠습니다. 이 블로그에서는 이 최첨단 모델 확장의 기능, 응용 및 발전에 대해 자세히 다룹니다.
Openhermes 2.5란 무엇인가?
Openhermes 2.5의 기본 배경
Teknium이 개발한 Openhermes 2.5는 Open Hermes 1 데이터셋의 확장이자 개선된 버전입니다. 훨씬 더 큰 규모, 더 높은 다양성, 더 나은 품질이 특징이며, 100만 개 이상의 합성 생성 명령어 및 채팅 샘플로 구성되어 있습니다.
Openhermes 2.5의 주요 특징
- 다양한 오픈 소스 데이터셋과 맞춤 제작된 합성 데이터셋을 통합한 것입니다.
- 데이터 큐레이션 및 탐색 플랫폼인 Lilac과 통합되어 있으며, HuggingFace에서 탐색, 큐레이션 및 텍스트 임베딩 검색이 가능합니다.
- Openhermes 2.5는 Airoboros 2.2, CamelAI Domain Expert Datasets, ChatBot Arena, Collective Cognition 등 여러 출처의 데이터를 포함하며, 각각 고유한 데이터 세트를 제공하여 전체 데이터셋을 풍부하게 만듭니다.
- Openhermes 2.5의 구조는 sharegpt 형식(딕셔너리 목록)을 따릅니다. 각 항목은 각 턴에 대한 딕셔너리가 있는 “conversations” 목록을 포함하며, 역할(예: “system”, “human”, “gpt”)과 대화의 텍스트 값을 나타냅니다.
OpenHermes 2.5의 데이터셋 출처
OpenHermes 2.5는 다양한 출처의 데이터를 통합하며, 각 출처는 데이터셋의 포괄성과 LLM 학습 유용성에 기여합니다. 주요 출처는 다음과 같습니다.
- Airoboros 2.2: Jon Durbin의 데이터셋.
- CamelAI Domain Expert Datasets: 물리학, 수학, 화학, 생물학을 다룸.
- ChatBot Arena: GPT-4 전용 데이터셋.
- Collective Cognition: Teknium의 데이터셋.
- Glaive Code Assistant: 코딩 능력 향상을 목표로 하는 데이터셋.
- GPTeacher: LLM 학습을 위한 모듈식 데이터셋 모음.
- SlimOrca 550K: Orca 복제 작업에 기여하는 데이터셋.
OpenHermes-2.5-Mistral-7B란 무엇인가?
설명
- OpenHermes 2의 연속: OpenHermes 2.5 Mistral 7B는 최첨단 Mistral 미세 조정 모델입니다. 이전 OpenHermes 2 모델을 기반으로 구축되어 개발 및 성능의 발전을 나타냅니다.
- 코드 데이터셋 학습: 학습 데이터의 상당 부분(전체 데이터셋의 약 7~14%로 추정)이 코드 명령어로 구성됩니다. 이러한 코드 학습은 모델 성능에 긍정적인 영향을 미쳤습니다.
- 학습 데이터: OpenHermes 2.5는 주로 GPT-4에 의해 생성된 100만 개의 항목과 AI 분야의 다양한 오픈 데이터셋에서 가져온 고품질 데이터로 학습되었습니다. 이 다양한 학습 데이터는 모델의 광범위한 능력에 기여할 것입니다.
- 데이터 필터링 및 형식 변환: 학습에 사용된 공개 데이터셋에는 광범위한 필터링이 적용되었습니다. 모든 데이터 형식은 ShareGPT로 변환된 후 axolotl에 의해 ChatML을 사용하도록 추가 변환되었습니다. 이러한 표준화 및 변환 과정은 학습 데이터의 일관성을 보장하며 모델 성능 향상에 기여할 수 있습니다.
OpenHermes-2.5-Mistral-7B의 벤치마크 성능
- TruthfulQA, AGIEval, GPT4All Suite: 이러한 비코드 벤치마크에서 모델 성능이 향상되어 코드 데이터셋 학습이 다른 영역으로도 잘 일반화되었음을 시사합니다.
- BigBench: 흥미롭게도 BigBench 벤치마크 점수는 감소했지만, 다른 벤치마크에서의 전체 순 이익은 여전히 상당하여 모델 능력의 개선을 나타냅니다.
- Humaneval 점수 향상: 인간 유사 평가 능력을 측정하는 Humaneval 벤치마크에서 모델 성능이 Open Hermes 2의 Pass 1 43%에서 OpenHermes 2.5의 Pass 1 50.7%로 향상되었습니다. 이는 상당한 증가이며 모델의 더 인간다운 응답 생성 능력이 향상되었음을 반영합니다.
업계에서 OpenHermes-2.5-Mistral-7B의 실제 응용 분야는 무엇인가?
개발자로서 여러분은 혁신의 최전선에 있으며 생산성을 높이고 매력적인 사용자 경험을 창출할 수 있는 도구를 끊임없이 찾고 있습니다. OpenHermes 2.5 Mistral 7B는 고급 기능을 통해 다양한 영역에서 가능성의 영역을 열어줍니다. 이 최첨단 모델의 이점을 누릴 수 있는 몇 가지 실제 응용 분야를 살펴보겠습니다.
AI 컴패니언 채팅
향상된 사용자 상호작용: OpenHermes 2.5 Mistral 7B의 자연어 이해 및 생성 능력은 AI 컴패니언 채팅 개발에 이상적인 후보입니다. 고객 서비스 봇, 가상 비서, 게임 내 인터랙티브 캐릭터 등 이 모델은 더 미묘하고 인간적인 대화를 제공할 수 있습니다.
개인화: 모델의 맥락 이해 및 관련 응답 생성 능력을 활용하여 개발자는 개별 사용자 선호도와 필요에 맞게 적응하는 개인화된 채팅 경험을 만들 수 있습니다.
다국어 지원: 추가 학습 및 적응을 통해 OpenHermes 2.5 Mistral 7B는 여러 언어를 지원하도록 확장되어 AI 컴패니언 애플리케이션의 글로벌 시장을 열 수 있습니다.
AI 소설 생성
창의적 글쓰기: 모델의 인간 유사 텍스트 생성 강점은 AI 소설 생성을 위한 강력한 도구입니다. 개발자는 이 기능을 활용하여 책, 대본, 인터랙티브 내러티브를 위한 독특한 스토리라인, 캐릭터, 대화를 만들 수 있습니다.
자동 콘텐츠 제작: 콘텐츠 제작자와 디지털 마케터에게 OpenHermes 2.5 Mistral 7B는 매력적인 블로그 게시물, 기사, 소셜 미디어 콘텐츠 생성을 자동화하여 시간과 리소스를 절약하면서도 높은 품질을 유지할 수 있습니다.
인터랙티브 스토리텔링: 게임 산업에서 이 모델은 플레이어의 선택에 따라 내러티브가 실시간으로 적응하는 인터랙티브 스토리텔링 경험의 기반이 되어 깊이 몰입할 수 있는 환경을 조성할 수 있습니다.
AI 요약
효율적인 정보 처리: OpenHermes 2.5 Mistral 7B의 요약 기능은 대량의 텍스트를 처리하고 핵심 사항을 추출하는 데 매우 유용합니다. 뉴스 수집, 연구, 비즈니스 인텔리전스에 적용하여 긴 문서의 간결한 요약을 제공할 수 있습니다.
데이터 분석: 데이터 분석 및 보고 분야에서 이 모델은 복잡한 데이터셋에서 인사이트를 종합하고 쉽게 이해할 수 있는 형식으로 제시하여 의사 결정 과정을 지원할 수 있습니다.
교육 도구: 교육 애플리케이션에서 AI 기반 요약은 학술 논문, 서적, 강의 노트의 요약을 제공하여 학생과 연구자가 더 빠르고 효과적으로 학습할 수 있도록 도울 수 있습니다.
개발자라면 OpenHermes 2.5 Mistral 7B를 프로젝트에 통합하는 방법에 관심이 있을 것입니다. 다음 섹션에서는 OpenHermes 2.5 Mistral 7B에 액세스하는 두 가지 방법을 소개합니다.
OpenHermes-2.5-Mistral-7B에 액세스하는 방법
text-generation-webui에서 이 모델을 다운로드하고 사용하는 방법
- 최신 버전으로 업데이트: 최신 버전의 text-generation-webui를 사용하고 있는지 확인하세요.
- 원클릭 설치 프로그램 사용: 수동 설치에 자신이 없는 경우 text-generation-webui의 원클릭 설치 프로그램을 사용하는 것이 좋습니다.
- Model 탭으로 이동: 인터페이스 내에서 “Model” 탭을 클릭하세요.
- 모델 세부 정보 입력: 사용자 정의 모델 또는 LoRA를 다운로드하는 섹션에
TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ를 입력하세요. 특정 브랜치(예:TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ:gptq-4bit-32g-actorder_True)를 다운로드하려면 위에 제공된 브랜치 목록을 참조하세요. - 다운로드 시작: “Download” 버튼을 클릭하여 모델 다운로드를 시작하세요. 완료되면 상태가 “Done”으로 변경됩니다.
- 모델 목록 새로고침: 왼쪽 상단의 새로고침 아이콘을 클릭하여 사용 가능한 모델 목록을 업데이트하세요.
- 다운로드한 모델 선택: Model 드롭다운 메뉴에서 방금 다운로드한 모델
OpenHermes-2.5-Mistral-7B-GPTQ를 선택하세요. - 모델 로드: 모델이 자동으로 로드되며 사용할 준비가 됩니다.
- 사용자 설정(필요한 경우): 적용할 사용자 설정이 있으면 구성한 다음 “Save settings for this model”을 클릭하고 오른쪽 상단에서 “Reload the Model”을 클릭하세요.
- GPTQ 매개변수 참고: 더 이상 GPTQ 매개변수를 수동으로 설정할 필요가 없습니다. 이제
quantize_config.json파일에서 자동으로 구성됩니다. - 텍스트 생성 시작: 모든 설정이 완료되면 “Text Generation” 탭을 클릭하고 프롬프트를 입력한 후 텍스트 생성을 시작하세요!
필요한 모든 파일은 Hugging Face의 TheBloke에서 찾을 수 있습니다. 이 단계를 따르면 text-generation-webui에서 OpenHermes-2.5-Mistral-7B-GPTQ 모델을 쉽게 다운로드하여 사용할 수 있습니다.
Novita AI에서 OpenHermes-2.5-Mistral-7B 사용 방법
text-generation-webui에서 OpenHermes-2.5-Mistral-7B를 다운로드하여 사용하는 것이 번거롭다면, Novita AI LLM API를 통해 액세스할 수 있습니다. 이 API는 OpenHermes-2.5-Mistral-7B와 Llama 3 8B instruct, Llama 3 70B instruct, MythoMax-L2–13B 등 다른 최신 강력한 모델을 갖추고 있습니다:
몇 줄의 코드만으로 API 호출을 수행하고 OpenHermes-2.5-Mistral-7B 및 기타 강력한 모델의 성능을 활용할 수 있습니다:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: https://novita.ai/get-started/Quick_Start.html#_3-create-an-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "teknium/openhermes-2.5-mistral-7b"
completion_res = client.completions.create(
model=model,
prompt="A chat between a curious user and an artificial intelligence assistant".
stream = True, # or False
max_tokens = 512,
)
결론
결론적으로 OpenHermes 2.5는 광범위한 데이터 큐레이션과 최첨단 모델 학습을 결합하여 AI 기술의 중추적인 발전으로 부상했습니다. Teknium에 의한 시작부터 Lilac과 같은 플랫폼과의 통합, HuggingFace에서의 제공까지, 이 데이터셋은 자연어 처리의 도약을 예시합니다.
이 블로그를 통해 OpenHermes 2.5의 다양한 응용 분야를 살펴보았습니다. AI 컴패니언 채팅을 통한 사용자 상호작용 향상, AI 소설 생성에서 창의성 촉진, 효율적인 데이터 요약 가능 등 이 모델은 개발자가 다양한 영역에서 혁신을 주도할 수 있도록 지원합니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 원활하게 통합된 API, 서버리스 컴퓨팅, GPU 가속을 통해 비용 효율적인 도구를 제공하여 AI 기반 비즈니스를 빠르게 구축하고 확장할 수 있습니다. 인프라 문제를 없애고 무료로 시작하세요 — Novita AI가 여러분의 AI 꿈을 현실로 만듭니다.
