소개
인공지능 분야는 다양한 분야에서 증가하는 수요에 힘입어 빠르게 확장 및 다양화되고 있습니다. Databricks Dolly 는 ChatGPT 및 Google Bard와 같은 기존 플레이어에 대한 대안을 제공하며 대규모 언어 모델(LLM) 환경에서 중요한 경쟁자로 부상했습니다. 기업을 위한 LLM 옵션을 평가할 때 Dolly와 같은 모델이 시장에서 어떤 위치를 차지하는지 이해하는 것이 중요합니다. 이러한 이해는 인프라, 비즈니스 목표 및 운영 요구 사항에 맞는 정보에 기반한 결정을 내리는 데 도움이 됩니다.
AI 기술은 더욱 발전하고 접근 가능해져 광범위한 채택과 인식을 얻었으며 기술이 빠르게 성숙해지고 있습니다. 시장은 정교한 분석 및 자동화 도구부터 AI 기반 고객 서비스 및 마케팅 솔루션에 이르기까지 AI 기반 제품 및 서비스의 급증을 경험하고 있습니다.
Databricks Dolly란 무엇인가?
Databricks Dolly는 요약, 질문 응답, 브레인스토밍과 같은 작업을 위해 생성적 텍스트 응답을 제공하는 자연어 명령 수행을 위해 설계된 오픈 소스 대규모 언어 모델 로 두드러집니다. ChatGPT와 같은 폐쇄형 옵션과 달리 Databricks Dolly(공식 명칭 Databricks Dolly 2.0)는 Databricks 직원으로부터 크라우드소싱된 학습 데이터셋을 사용하여 미세 조정되었습니다. 이 120억 매개변수 모델은 2023년 3월부터 4월 사이에 5,000명 이상의 Databricks 직원이 제공한 13,000개 이상의 명령 수행 행동 데모를 기반으로 개발되었습니다.
아래 동영상을 확인할 수 있습니다:
Databricks Dolly 2.0 vs 1.0
Databricks Dolly 2.0을 발표한 블로그에서 회사는 오픈 소스 모델과 맞춤형 데이터셋을 사용하기로 한 선택을 설명하며, 조직이 “API 액세스 비용을 지불하거나 데이터를 외부와 공유할 필요 없이” 자체 대규모 언어 모델을 구축하거나 맞춤화할 수 있는 자유를 가질 것이라고 강조했습니다.
Databricks는 미세 조정 명령 데이터셋인 databricks-dolly-15k 를 “대규모 언어 모델에 ChatGPT의 대화형 매력을 부여하도록 특별히 설계된 최초의 오픈 소스, 인간 생성 명령 데이터셋”이라고 강조합니다. 2023년 3월에 공개된 전작 Dolly 1.0은 ChatGPT의 출력을 포함하고, 절반의 매개변수로 학습되었으며, 제한된 50k 응답/쌍 데이터셋으로 미세 조정되었고 상업적 사용 라이선스가 없었습니다. 반면, 2023년 4월에 출시된 Dolly 2.0은 120억 매개변수 오픈 소스 모델(EleutherAI 제공)로 학습되었으며, 크라우드소싱/인간 생성 질문 및 답변 쌍 덕분에 상업적으로 배포 가능합니다.
Databricks Dolly 2.0 도입을 고려하는 기업은 데이터셋의 신뢰성을 확신할 수 있습니다. Databricks는 데이터 및 답변 세트 생성을 위한 명확한 지침을 설정하여 모든 답변이 인간이 생성한 고유한 응답임을 보장했습니다.
Databricks Dolly를 사용해야 하는 사람은?
Dolly의 독특한 판매 포인트는 오픈 소스 데이터셋에 있으며, 특정 사용 사례에 맞춘 AI 솔루션을 개발하려는 기업에게 뚜렷한 이점을 제공합니다. Databricks Dolly가 특히 적합할 수 있는 몇 가지 시나리오는 다음과 같습니다:
- 엄격한 데이터 규정 준수 규정을 적용받는 기업: Dolly의 오픈 소스 특성(API에 독립적)은 규제가 엄격한 분야의 조직이 일반적으로 API 종속 도구와 관련된 데이터 보안 또는 규정 준수 문제를 유발하지 않고 AI 솔루션을 만들 수 있게 합니다.
- AI 연구자 및 개발자: Dolly는 강력하면서도 매우 적응 가능한 플랫폼을 제공하여 연구자와 개발자가 필요에 따라 모델을 신속하게 조정할 수 있게 합니다. 이러한 유연성은 혁신과 실험의 더 큰 잠재력을 촉진합니다.
- 기존 질문 및 답변 솔루션 향상: Databricks Dolly의 구조를 활용하여 기존 솔루션의 질문 및 답변 쌍을 통합하는 것은 이상적인 응용 프로그램입니다. 예를 들어, Q&A 중심으로 구성된 기술 지원 데이터베이스를 Dolly의 기능을 사용하여 대화형 경험으로 전환하는 것이 가능합니다.
진정으로 오픈된 대규모 언어 모델
고객은 일관되게 자체 모델을 소유하는 것을 선호한다고 밝혀 왔습니다. 이를 통해 민감한 데이터를 제3자에게 노출하지 않고 도메인별 애플리케이션에 맞춘 더 높은 품질의 모델을 개발할 수 있습니다.
편향, 책임성 및 AI 안전과 같은 중요한 문제를 해결하려면 소수의 대기업에만 의존하기보다는 다양한 이해 관계자 커뮤니티의 참여가 필요하다고 믿어집니다. 오픈 소스 데이터셋과 모델은 논평, 연구 및 혁신을 촉진하여 모든 사람이 인공지능 기술의 발전으로부터 이익을 얻을 수 있는 환경을 조성합니다.
기술 및 연구 아티팩트로서 Dolly는 효율성 측면에서 최전선에 있을 것으로 예상되지 않습니다. 그러나 Dolly와 오픈 소스 데이터셋은 많은 후속 작업의 기초가 되어 더욱 강력한 언어 모델 개발을 촉진할 것으로 예상됩니다.
Databricks Dolly의 사용 사례
공식 블로그에서는 Databricks Dolly의 몇 가지 응용 프로그램 및 사용 사례를 소개합니다:
- 개방형 Q&A: 예를 들어 “사람들이 왜 코미디 영화를 좋아합니까?” 또는 “프랑스의 수도는 무엇입니까?”와 같은 질문이 있습니다. 일부 질문에는 확정적인 답변이 없으며, 다른 질문은 세계에 대한 폭넓은 이해를 바탕으로 답변해야 합니다.
- 폐쇄형 Q&A: 이 질문은 주어진 참조 텍스트 내의 정보만을 사용하여 답변할 수 있습니다. 예를 들어, 원자에 대한 Wikipedia 문서의 한 단락이 제공될 때 “핵에서 양성자 대 중성자의 비율은 얼마입니까?”라고 물을 수 있습니다.
- Wikipedia에서 정보 추출: 이 작업에서 주석자는 Wikipedia 문서에서 한 단락을 선택하고 해당 단락에 포함된 가중치 또는 측정값과 같은 엔터티 또는 사실적 세부 정보를 식별합니다.
- Wikipedia 정보 요약: 주석자는 Wikipedia의 한 단락을 간략한 요약으로 압축하는 작업을 맡습니다.
- 브레인스토밍: 이는 개방형 아이디어를 생성하고 잠재적 옵션 목록을 제공하는 것을 포함합니다. 예: “이번 주말에 친구들과 할 수 있는 재미있는 활동은 무엇인가요?”
- 분류: 주석자는 목록의 항목을 동물, 광물 또는 채소로 분류하거나 짧은 단락의 특성(예: 영화 리뷰에 표현된 감정)을 평가하는 등의 클래스 소속을 결정합니다.
- 창의적 글쓰기: 이 범주의 작업에는 시 쓰기 또는 러브 레터 작성이 포함됩니다.
databricks-dolly-15k의 개방형 QA 예시
Databricks Dolly 설치 방법
Dolly 2.0 모델 가중치를 다운로드하려면 Databricks Hugging Face 페이지를 방문하고 databricks-labs 의 Dolly 저장소를 방문하여 databricks-dolly-15k dataset 을 다운로드하십시오.
Databricks Dolly LLM의 한계
Databricks Dolly LLM의 오픈 소스 모델은 특히 매우 표적화된 상업적 응용 프로그램에 대해 많은 이점을 제공하지만, 만능 솔루션은 아닙니다. ChatGPT와 같은 더 크고 폐쇄된 모델과 비교할 때 Dolly의 더 작은 학습 세트는 덜 정제된 출력을 초래할 수 있습니다. 언어 제한도 널리 퍼져 있습니다. 현재 Dolly 2.0은 영어로만 응답을 제공하도록 제한됩니다.
오픈 소스 LLM을 배포하는 것은 지식 요구 사항에 대한 우려도 제기합니다. AI 솔루션을 훈련하고 활용하는 방법에 대한 철저한 이해와 기업 환경 내에서 상당한 컴퓨팅 리소스가 필요한 경우가 많습니다. 반대로 폐쇄형 생성 AI 모델은 일반적으로 상자에서 꺼내자마자 사용 및 맞춤형 솔루션과 통합할 준비가 되어 있습니다. 상업적 실행 가능성과 리소스 제약에 대한 고려 사항의 균형을 맞추는 것이 적절한 모델 선택을 결정하는 경우가 많습니다.
반면, 오픈 소스 LLM을 사용할 때 개인 정보가 보장될 수 없습니다. 안전하고 신뢰할 수 있으며 비용 효율적인 폐쇄 소스 LLM을 찾고 있다면 당사의 LLM을 선택할 수 있습니다:
그리고 우리는 이미 LLM API를 출시했으며, 이는 귀하의 LLM과 완벽하게 통합될 수 있습니다. 가장 저렴한 가격과 확장 가능한 모델을 통해 Novita AI LLM 추론 API는 귀하의 LLM에 2초 미만의 놀라운 안정성과 상당히 낮은 지연 시간을 제공합니다.
당사의 LLM API는 캐릭터 플레이 기능도 제공하여 좋아하는 캐릭터 카드를 가져와 그/그녀와 무엇이든 이야기할 수 있습니다.
어떤 대규모 언어 모델이 당신에게 적합한가?
Databricks Dolly LLM의 도입은 기업용으로 상업적으로 실행 가능한 오픈 소스 대규모 언어 모델에서 중요한 도약을 의미합니다. 모든 시나리오에 적합하지는 않을 수 있지만, 기업 수준에서의 잠재력은 엄청납니다. 맞춤형 솔루션 개발, 기존 도구 개선 또는 새로운 AI 응용 프로그램 개척 등 조직이 오픈 소스 모델을 필요로 하는 경우 Databricks Dolly는 고려할 가치가 있습니다.
Databricks Dolly 2.0이 특정 상황에 적합한지에 대한 문의 사항이 있거나 Dolly LLM을 효과적으로 활용하는 데 도움이 필요하면 Graphable에 연락 주시기 바랍니다. 당사의 맞춤형 개발 서비스는 고유한 기업 목표에 맞는 솔루션을 구상하고 실현하는 데 도움을 드리기 위해 마련되었습니다.
Databricks Dolly는 데이터 분석, 예측 모델링 및 자동화 요구 사항을 충족하는 다재다능하고 강력하며 사용자 친화적인 플랫폼을 제공합니다. 그 적용 가능성은 다양한 산업과 기능에 걸쳐 있어 기업 환경에서 일하는 전문가에게 invaluable합니다. AI가 계속 발전함에 따라 데이터 기반 의사 결정을 간소화하고 풍부하게 하는 Dolly의 역할은 더욱 확대될 것입니다.
결론
요약하면, Databricks Dolly LLM은 기업용으로 맞춤화된 오픈 소스 대규모 언어 모델에서 중요한 발전을 제공합니다. 모든 시나리오에 적합하지는 않을 수 있지만, 특정 사용 사례 내에서의 사용자 정의 및 혁신 가능성은 상당합니다. 데이터 소유권을 유지하면서 더 높은 품질의 모델을 원하는 조직은 Databricks Dolly를 매력적인 옵션으로 찾을 수 있습니다.
그러나 절충점을 고려하는 것이 중요합니다. Databricks Dolly와 같은 오픈 소스 모델은 유연성과 커뮤니티 중심 혁신을 제공하지만, 폐쇄형 모델과 동일한 수준의 정교함이나 언어 범위를 항상 제공하지는 않을 수 있습니다. 신뢰성, 안전성 및 비용 효율성을 균형 있게 고려하는 조직의 경우 폐쇄 소스 LLM이 실행 가능한 대안을 제시합니다.
궁극적으로 오픈 소스와 폐쇄 소스 LLM 사이의 선택은 조직의 특정 요구 사항, 목표 및 리소스에 따라 달라집니다. Databricks Dolly 또는 다른 모델을 선택하든, 고유한 기업 요구 사항에 맞춰 결정을 내려 데이터 기반 의사 결정을 효과적으로 향상시키는 것이 중요합니다.
novita.ai는 100개 이상의 API에 액세스할 수 있는 무한한 창의성을 위한 원스톱 플랫폼입니다. 이미지 생성, 언어 처리, 오디오 향상 및 비디오 조작에 이르기까지 저렴한 종량제 요금제로 GPU 유지 관리 부담에서 벗어나 자체 제품을 구축할 수 있습니다. 무료로 사용해 보세요.
추천 자료
