서론
Databricks가 인공지능 세계에 혁신을 가져왔습니다 — Dolly 2.0, 상업적 사용이 가능한 최초의 오픈소스 명령어 기반 대형 언어 모델(LLM)입니다. 그렇다면 Dolly 2.0이 이렇게 혁신적인 이유는 무엇이며, 조직이 그 기능을 활용하여 혁신을 주도할 수 있는 방법은 무엇일까요? 이 종합 가이드는 이 강력한 AI 모델의 기술적 역량, 강력한 장점, 다양한 응용 분야를 심층적으로 살펴보고, LLM API가 그 한계를 극복할 수 있는 방법도 함께 탐구합니다.
Dolly 2.0이란 무엇인가?
Dolly 2.0은 Databricks가 개발한 대형 언어 모델(LLM) 분야의 최신 혁신입니다. 이전 Dolly 1.0 모델의 성공을 바탕으로, Dolly 2.0은 상업적 사용이 가능한 최초의 오픈소스 명령어 기반 LLM입니다.
Dolly 2.0의 기술적 세부 사항
Dolly 2.0은 databricks-dolly-15k라는 새로운 데이터셋으로 미세 조정된 120억 개의 파라미터 모델입니다. 이 데이터셋은 5,000명 이상의 Databricks 직원들이 정성껏 생성한 15,000개의 고품질 프롬프트-응답 쌍으로 구성되어 있으며, 명령어 기반 LLM을 훈련하도록 특별히 설계되었습니다. 이전 데이터셋과 달리 databricks-dolly-15k는 크리에이티브 커먼즈 라이선스에 따라 상업적 사용이 완전히 허가되었습니다.
이 새로운 데이터셋 databricks-dolly-15k는 대형 언어 모델의 명령어 튜닝을 위해 특별히 설계된 15,000개의 고품질 프롬프트-응답 쌍을 포함합니다. 이 데이터셋은 2023년 3월과 4월에 Databricks 직원 5,000명 이상이 크라우드소싱하여 생성되었으며, 개방형 Q&A, 비공개 Q&A, 정보 추출 및 요약, 브레인스토밍, 분류, 창작 글쓰기 등 다양한 작업을 다루는 프롬프트와 응답을 생성하도록 콘테스트를 통해 인센티브가 제공되었습니다.
초기 목표인 10,000개를 초과하여, Databricks는 게임화를 활용하여 이 방대한 데이터셋을 신속하게 수집했습니다. 이 데이터셋은 이전의 명령어 데이터셋과 달리 크리에이티브 커먼즈 라이선스에 따라 상업적 사용이 허가되어 매우 중요합니다.
Databricks가 Dolly 2.0을 상업적으로 사용 가능하게 만든 이유는?
Databricks가 상업적으로 사용 가능한 명령어 기반 LLM을 만들기 위한 여정은 고객의 요구에서 비롯되었습니다. Dolly 1.0이 출시되었을 때 가장 많이 받은 질문은 상업적으로 사용할 수 있느냐는 것이었지만, 기본 데이터셋의 서비스 약관이 이를 금지하고 있었습니다. 이를 해결하기 위해 Databricks는 새로운 databricks-dolly-15k 데이터셋을 크라우드소싱하여 5,000명 이상의 열정적인 직원들을 활용해 고품질의 독창적인 프롬프트-응답 쌍을 생성했습니다.
그 결과는 Dolly 2.0입니다 — 강력한 오픈소스 LLM으로, 모든 조직이 이를 사용, 수정, 확장하여 도메인 특화 AI 어시스턴트와 애플리케이션을 만들 수 있습니다. Databricks는 이러한 개방적이고 커뮤니티 주도의 AI 개발 접근 방식이 AI의 혜택이 일부 대형 기술 기업에만 국한되지 않고 모든 사람에게 돌아가도록 하는 데 중요하다고 믿습니다.
Dolly 2.0의 강점
사용자 정의 가능한 미세 조정 기능
ChatGPT와 같은 관리형 대형 언어 모델(LLM)과 달리, Dolly 2.0은 사용자에게 미세 조정 과정에 대한 완전한 제어권을 제공합니다. 관리형 서비스 제공업체가 부과하는 토큰당 또는 레코드당 요금에 제약받지 않고, 사용자는 추가 비용 없이 사전 훈련된 오픈소스 Dolly 2.0 모델을 자신의 특정 요구에 맞게 미세 조정할 수 있습니다. 중요한 점은 Dolly 2.0 사용자는 평가 지표에 완전히 접근할 수 있고 모델의 행동을 명확히 이해할 수 있어, 데이터 과학자들이 이 기술을 사용할 때 더 편안하고 확신을 가질 수 있다는 것입니다.
확장 가능하고 적응 가능한 인프라
Dolly 2.0은 사용자가 선호하는 클라우드 또는 온프레미스 인프라에 모델을 배포할 수 있는 자유를 제공하여, 자신의 요구에 가장 적합한 배포 환경을 선택할 수 있는 유연성을 제공합니다. 지연 시간 개선이나 처리량 증가가 필요한 경우, 사용자는 추가 클라우드 리소스를 프로비저닝하여 필요에 따라 인프라를 손쉽게 확장하거나 축소할 수 있습니다. 이러한 동적 확장 능력은 변동하는 워크로드를 가진 조직에 특히 유용합니다. 이러한 인프라 유연성은 일반적으로 관리형 서비스 LLM에서는 제공되지 않으며, 사용자는 제공업체의 자체 확장 기능에만 의존해야 합니다.
안전하고 기밀적인 데이터 처리
금융이나 의료와 같이 엄격한 데이터 프라이버시와 기밀성 요구 사항이 있는 산업의 경우, Dolly 2.0은 외부에서 호스팅되는 관리형 서비스 LLM보다 더 안전한 대안을 제시합니다. Dolly 2.0 모델을 미세 조정할 때 사용자는 기밀 데이터를 제3자 제공업체에 노출하지 않고 수행할 수 있습니다. 또한 추론은 사용자 자신의 보안 서버 내에서 완전히 수행될 수 있어, 민감한 정보가 통제된 환경을 벗어나지 않도록 보장합니다. 이는 사용자가 서비스 제공업체가 필요한 데이터 보안 태세를 유지하고 관련 규정을 준수한다고 신뢰해야 하는 ChatGPT와 같은 관리형 서비스와 대조됩니다.
제한 없는 상업적 활용
Dolly 2.0의 Apache 2.0 라이선스는 사용자에게 제한 없이 모든 상업적 목적으로 모델을 사용할 수 있는 자유를 부여합니다. 이 개방적이고 관대한 라이선싱은 조직이 Dolly 2.0 모델을 활용하는 제품을 자유롭게 판매하거나 서비스를 배포할 수 있게 하며, 로열티를 지불하거나 복잡한 라이선스 계약을 협상할 필요가 없습니다. 이러한 유연성은 다른 오픈소스 대형 언어 모델에서는 항상 존재하지 않으며, 더 제한적인 사용 조건이 있거나 특정 상업적 응용에 대해 라이선스 비용이 필요할 수 있습니다.
Dolly 2.0 상업적 응용 분야
사용자 정의 가능한 AI 어시스턴트
Dolly 2.0이 오픈소스이면서 상업적으로 사용 가능한 명령어 기반 언어 모델이기 때문에, 조직은 이를 활용하여 자신의 특정 요구에 맞는 맞춤형 AI 어시스턴트를 구축할 수 있습니다. 일반적인 챗봇이나 어시스턴트에 제한되지 않고, 기업은 Dolly 2.0을 미세 조정하고 사용자 정의하여 직원과 고객에게 도메인 특화 지원을 제공할 수 있습니다.
예를 들어, 금융 서비스 회사는 Dolly 2.0을 가져와 내부 정책, 제품 정보, 고객 서비스 데이터에 대해 추가로 훈련시킬 수 있습니다. 이를 통해 계정 관리부터 투자 조언에 이르기까지 다양한 고객 문의를 처리하면서도 회사 표준을 준수하는 고도로 개인화된 AI 어시스턴트를 배포할 수 있습니다.
콘텐츠 제작 및 아이디어 발상
Dolly 2.0의 광범위한 명령어 수행 능력은 콘텐츠 제작 및 아이디어 발상 작업에 적합합니다. 마케팅, 광고, 미디어 분야의 기업은 Dolly 2.0을 사용하여 기사, 소셜 미디어 게시물, 크리에이티브 브리프 등의 초안을 생성할 수 있습니다. 모델의 정보 요약 및 새로운 아이디어 발상 능력은 콘텐츠 제작 과정을 크게 가속화할 수 있습니다.
예를 들어, 마케팅 에이전시는 Dolly 2.0을 활용하여 캠페인 컨셉을 신속히 프로토타이핑하고, 샘플 소셜 미디어 카피를 작성하며, 태그라인이나 슬로건과 같은 초기 크리에이티브 자산을 생성할 수 있습니다. 그런 다음 인간이 모델의 출력을 구체적인 브랜드 및 메시지 요구 사항에 맞게 다듬고 개선할 수 있습니다.
자동화된 데이터 분석
시장 조사 기업이나 비즈니스 인텔리전스 팀과 같이 대규모 데이터셋을 보유한 조직은 Dolly 2.0을 사용하여 특정 데이터 분석 및 보고 작업을 자동화할 수 있습니다. 텍스트에서 핵심 정보를 추출하고, 목표 질문에 답하며, 인사이트를 요약하는 모델의 능력은 인간이 검증하고 확장할 수 있는 초기 분석 결과를 생성하는 데 도움이 될 수 있습니다.
이를 통해 원시 데이터를 실행 가능한 인텔리전스로 변환하는 데 필요한 시간과 노력을 줄여, 분석가가 낮은 수준의 데이터 처리보다는 높은 수준의 해석과 전략적 권장 사항에 더 집중할 수 있습니다.
Dolly 2.0의 오픈소스 및 상업적 친화적 특성은 산업 전반에 걸쳐 광범위한 잠재적 사용 사례를 열어주며, 조직이 자신의 독특한 요구와 우선순위에 맞는 맞춤형 AI 솔루션을 만들 수 있도록 지원합니다. Databricks가 강조했듯이, 이 접근 방식은 고급 언어 모델의 혜택이 소수의 대형 기술 기업에 국한되지 않고 더 넓은 커뮤니티에 접근 가능하도록 하는 것을 목표로 합니다.
Dolly 2.0 시작하기
모델을 훈련하지 않고 Dolly 2.0 사용을 시작하려면 다음과 같은 지침이 있습니다:
-
사전 훈련된 Dolly 2.0 모델은 Hugging Face에서
databricks/dolly-v2-12b로 제공됩니다. -
A100 GPU가 장착된 머신에서 Transformers 라이브러리로 모델을 사용하려면:
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
그런 다음 instruct_pipeline을 사용하여 명령어에 대한 응답을 생성할 수 있습니다.
- 다른 GPU 인스턴스의 경우:
(1) A10 GPU:
- 6.9B 및 2.8B 파라미터 모델은 그대로 작동합니다.
- 12B 파라미터 모델의 경우 8비트 가중치를 사용하여 모델을 로드하고 실행해야 하며, 이는 결과에 약간의 영향을 줄 수 있습니다.
(2) V100 GPU:
pipeline()명령에서torch_dtype=torch.bfloat16대신torch_dtype=torch.float16으로 설정하세요.- 12B 파라미터 모델은 V100에서 8비트로 제대로 작동하지 않을 수 있습니다.
핵심 사항은 사전 훈련된 Dolly 2.0 모델이 Hugging Face에서 제공되며, Transformers 라이브러리를 사용하여 모델을 로드하고 응답 생성에 사용할 수 있다는 것입니다. 그러나 사용 가능한 GPU 하드웨어에 따라 특정 구성이 조정되어야 할 수 있습니다. 자세한 내용은 Github의 databrickslabs/dolly를 방문하세요.
Dolly 2.0의 한계와 단점
Dolly 2.0은 오픈소스이면서 상업적으로 사용 가능한 명령어 기반 언어 모델의 중요한 진보를 나타내지만, 한계가 없는 것은 아닙니다.
언어적 한계
주요 단점 중 하나는 모델이 영어 이외의 언어에 대한 광범위한 훈련이 부족하다는 점입니다. Dolly 2.0과 그 기반이 되는 Pythia 백본 모두 비영어 데이터셋에 대해 광범위하게 훈련되지 않았습니다. 즉, 다국어 기능이 필요한 응용 프로그램은 다른 언어의 뉘앙스를 포착하기 위해 상당한 미세 조정 노력이 필요할 가능성이 높으며, 이는 고려해야 할 무수한 언어적 특성을 감안할 때 실행 가능한 전략이 아닐 수 있습니다.
맥락적 제약
또 다른 한계는 Dolly 2.0의 상대적으로 좁은 토큰 창(2,048 토큰)입니다. 이는 많은 관리형 언어 모델이 지원하는 최대 32,000 토큰 이상의 컨텍스트 크기보다 훨씬 작습니다. 긴 형식의 문서 요약과 같이 대규모 입력이 필요한 사용 사례의 경우, Dolly 2.0은 청크 전략이 필요할 수 있으며 한 번에 처리할 수 있는 제한된 컨텍스트로 인해 최적이 아닌 결과를 생성할 가능성이 있습니다.
확장성 문제
또한 현재 Dolly 2.0 모델은 아직 1,000억 파라미터 범위까지 확장되지 않으며, 일부 응용 프로그램에서는 ChatGPT와 같은 모델의 기능과 경쟁하기 위해 이 정도 크기가 필요할 수 있습니다. 이러한 크기 제약은 가장 강력한 언어 모델이 필요한 특정 중요하거나 핵심적인 시나리오에서 Dolly 2.0의 성능을 제한할 수 있습니다.
지속적인 한계
Databricks는 또한 적극적으로 개발 중인 연구 지향 모델로서 Dolly 2.0이 다양한 다른 한계를 나타낼 수 있음을 인정했습니다. 여기에는 복잡한 프롬프트 처리, 개방형 질문 응답, 쓰기 작업의 적절한 형식 지정, 코드 생성, 수학 연산, 일관된 유머 감각이나 글쓰기 스타일 유지 등의 어려움이 포함됩니다. 이러한 단점은 추가 반복과 개선을 통해 해결될 가능성이 높지만, 현재 Dolly 2.0을 특정 응용 프로그램에 고려할 때 사용자가 알아야 할 현재의 제약을 나타냅니다.
Dolly 2.0의 한계 극복
Dolly 2.0과 같은 오픈소스 모델은 중요한 진전이지만, 실제 적용 가능성을 제한할 수 있는 상당한 한계가 여전히 존재합니다. 이러한 한계를 극복하기 위해 Novita AI는 조직이 진정으로 맞춤화된 AI 솔루션을 구축하는 데 필요한 유연성과 기능을 제공하는 종합적인 LLM API를 제공합니다.
모델 다양성 및 사용자 정의
LLM API의 핵심은 단일 사전 훈련 옵션이 아닌 다양한 대형 언어 모델 중에서 선택할 수 있는 기능입니다. 즉, 글로벌 애플리케이션을 위한 다국어 변형, 중요 작업을 위한 고파라미터 모델, 산업별 특화 버전 등 특정 사용 사례에 가장 적합한 모델을 선택할 수 있습니다.
하지만 모델 선택은 시작에 불과합니다. API는 또한 신중하게 제작된 프롬프트를 사용하여 선택한 LLM의 어조, 성격, 행동을 체계적으로 수정할 수 있도록 합니다. 모델의 응답 패턴을 미세 조정함으로써 AI 어시스턴트가 사용자나 고객과 효과적으로 소통하는 데 필요한 정확한 목소리, 공감, 전문성을 갖추도록 보장할 수 있습니다.
고급 파라미터 제어
모델 및 프롬프트 사용자 정의 외에도, LLM API는 세밀한 제어권을 제공합니다. temperature, top_p, presence_penalty, maximum tokens와 같은 주요 파라미터를 조정하여 특정 애플리케이션 요구 사항에 맞게 모델 출력을 최적화할 수 있습니다. 이러한 수준의 맞춤화는 창의성, 일관성, 간결성 사이의 완벽한 균형을 찾을 수 있게 해줍니다.
원활한 캐릭터 통합
사용자 경험을 더욱 향상시키기 위해, LLM API는 최종 사용자와 대화할 수 있는 맞춤형 캐릭터의 통합을 지원합니다. 이러한 캐릭터는 브랜드, 산업, 대상 고객에 맞게 설계되어 보다 몰입감 있고 개인화된 상호작용을 만드는 데 도움이 됩니다. 대형 언어 모델의 힘과 친근한 캐릭터의 친숙함을 결합하여 청중과 진정으로 공감하는 AI 어시스턴트를 구축할 수 있습니다.
결론
Dolly 2.0은 상업적으로 제한된 명령어 기반 언어 모델에 유망한 오픈소스 대안을 제공하지만, 한계가 없는 것은 아닙니다. 조직은 Dolly 2.0을 채택하기 전에 특정 사용 사례와 요구 사항의 맥락에서 그 기능과 제약을 신중히 평가해야 합니다. Dolly 2.0 및 다른 오픈소스 언어 모델의 한계를 극복하기 위해, Novita AI의 종합적인 LLM API는 강력한 솔루션을 제공할 수 있습니다.
Novita AI는 무한한 창의성을 위한 원스톱 플랫폼으로, 100개 이상의 API에 접근할 수 있습니다. 이미지 생성, 언어 처리, 오디오 향상, 비디오 조작에 이르기까지, 저렴한 종량제 요금제로 GPU 유지 관리의 번거로움에서 벗어나 자신의 제품을 구축할 수 있습니다. 무료로 사용해 보세요.
