简介
Databricks 在人工智能领域推出了一款颠覆性产品——Dolly 2.0，这是首个可商用的开源指令遵循大型语言模型（LLM）。但是什么让 Dolly 2.0 如此革命性？组织如何利用其能力推动创新？本综合指南将深入探讨这款强大 AI 模型的技术实力、显著优势及多样化应用，同时探讨 LLM API 如何弥补其局限性。
什么是 Dolly 2.0？
Dolly 2.0 是 Databricks 开发的大型语言模型（LLM）的最新突破。基于早期 Dolly 1.0 模型的基础上，Dolly 2.0 成为首个可商用的开源指令遵循 LLM。
Dolly 2.0 的技术细节
Dolly 2.0 是一个拥有 120 亿参数的模型，基于名为 databricks-dolly-15k 的新数据集进行微调。该数据集由 5000 多名 Databricks 员工精心创建，生成了 15000 个高质量提示-响应对，专门用于训练指令型 LLM。与以往的数据集不同，databricks-dolly-15k 采用 Creative Commons 许可协议，完全可商用。
这个名为 databricks-dolly-15k 的新数据集包含 15000 个高质量提示-响应对，专门用于大型语言模型的指令微调。该数据集于 2023 年 3 月至 4 月期间，通过竞赛激励方式，从 5000 多名 Databricks 员工中众包而来，涵盖了开放式问答、闭卷问答、信息提取与摘要、头脑风暴、分类和创意写作等多种任务。
Databricks 超出了最初 10000 个目标，通过游戏化方式快速收集了这份庞大的数据集，并且该数据集采用 Creative Commons 许可协议，可商用——这与之前的指令数据集不同。
为什么 Databricks 要让 Dolly 2.0 具备商业可行性？
Databricks 打造可商用指令型 LLM 的旅程源于客户需求。当 Dolly 1.0 发布时，用户最关心的问题是能否将其用于商业用途——但底层数据集的服务条款禁止了这一点。为了解决这个问题，Databricks 众包了新的 databricks-dolly-15k 数据集，利用 5000 多名热情员工生成了高质量、原创的提示-响应对。
结果就是 Dolly 2.0——一个强大的开源 LLM，任何组织都可以使用、修改并基于它构建特定领域的 AI 助手和应用程序。Databricks 相信，这种开放、社区驱动的 AI 开发方式对于确保 AI 惠及所有人（而非仅仅几家大型科技公司）至关重要。
Dolly 2.0 的优势
可定制的微调能力
与 ChatGPT 等托管式大型语言模型（LLM）不同，Dolly 2.0 让用户完全掌控微调过程。用户无需受托管服务商按 Token 或按条数收费的限制，可以免费对预训练的开源 Dolly 2.0 模型进行微调，以满足特定需求。更重要的是，Dolly 2.0 用户还能完全访问评估指标，清楚了解模型行为，让数据科学家在使用该技术时更感安心和自信。
可扩展且适应性强的底层设施
Dolly 2.0 允许用户自由选择在首选的云或本地基础设施上部署模型，提供选择最适合自身需求部署环境的灵活性。当需要改善延迟或提升吞吐量时，用户可以通过按需配置更多云资源轻松扩展或扩容。这种动态扩展能力对工作负载波动的组织尤其宝贵。这种基础设施灵活性在托管式 LLM 中通常不可用，用户只能受限于服务商自身的扩展能力。
安全且保密的数据处理
对于金融、医疗等对数据隐私和保密性要求严格的行业，Dolly 2.0 提供了比外部托管式 LLM 更安全的选择。在微调 Dolly 2.0 模型时，用户无需向第三方提供商暴露任何机密数据。推理过程可以完全在用户自己的安全服务器内进行，确保敏感信息永远不会离开其受控环境。这与 ChatGPT 等托管服务形成鲜明对比，用户必须信任服务提供商能维持必要的数据安全态势并遵守相关法规。
无限制的商业使用
Dolly 2.0 采用 Apache 2.0 许可，允许用户将模型用于任何商业目的，无需任何限制。这种开放且宽松的许可使组织可以自由销售基于 Dolly 2.0 的产品或部署服务，无需支付版税或处理复杂的许可协议。这种灵活性在其他开源大型语言模型中并不常见，它们可能附带更严格的使用条款，或要求某些商业应用支付许可费。
Dolly 2.0 商业应用
可定制的 AI 助手
凭借 Dolly 2.0 开源、可商用的指令遵循语言模型特性，组织可以利用它构建满足特定需求的定制 AI 助手。公司不再局限于通用聊天机器人或助手，而是可以对 Dolly 2.0 进行微调和定制，为员工和客户提供领域特定的支持。
例如，金融服务公司可以获取 Dolly 2.0，并基于其内部政策、产品信息和客户服务数据进行进一步训练。这样，他们就可以部署一个高度个性化的 AI 助手，处理从账户管理到投资建议的各种客户咨询，同时保持符合公司标准。
内容创作与创意生成
Dolly 2.0 广泛的指令遵循能力使其非常适合内容创作和创意生成任务。市场营销、广告、媒体等领域的企业可以使用 Dolly 2.0 生成文章初稿、社交媒体帖子、创意简报等。该模型的信息摘要和头脑风暴能力将显著加速内容创作过程。
例如，营销机构可以利用 Dolly 2.0 快速原型化活动概念、编写社交媒体文案样本，甚至生成标语和口号等初始创意素材。然后，人类可以进一步完善和润色模型输出，以满足其特定的品牌和消息传递要求。
自动化数据分析
拥有大型数据集的组织（如市场调研公司或商业智能团队）可以使用 Dolly 2.0 自动化某些数据分析和报告任务。该模型在从文本中提取关键信息、回答针对性问题和总结洞察方面的能力，可以帮助生成初步分析结果，然后由人类进行验证和扩展。
这可以减少将原始数据转化为可执行情报所需的时间和精力，使分析师能够更多地专注于高层解释和战略建议，而非底层数据处理。
Dolly 2.0 开源且友好的商业特性开启了跨行业的广泛潜在用例，使组织能够创建满足其独特需求和优先级的定制 AI 解决方案。正如 Databricks 所强调的，这种方法旨在确保先进语言模型的好处能够惠及更广泛的社区，而不仅仅是几家大型科技公司。
如何开始使用 Dolly 2.0？
如果你想在无需训练模型的情况下开始使用 Dolly 2.0，请按以下步骤操作：
- 预训练的 Dolly 2.0 模型可在 Hugging Face 上获取，名为
databricks/dolly-v2-12b。
2. 要在配备 A100 GPU 的机器上使用 Transformers 库加载模型：
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)
然后你可以使用 instruct_pipeline 生成对指令的响应。
3. 对于其他 GPU 实例：
(1) A10 GPU：
- 6.9B 和 2.8B 参数模型可直接使用。
- 对于 12B 参数模型，你需要使用 8 位权重加载和运行模型，这可能会略微影响结果。
(2) V100 GPU：
- 在
pipeline()命令中将torch_dtype设置为torch.float16，而非torch.bfloat16。 - 12B 参数模型在 V100 上的 8 位模式下可能无法正常工作。
关键点是：预训练的 Dolly 2.0 模型可在 Hugging Face 上获取，你可以使用 Transformers 库加载并使用该模型生成响应。然而，具体配置可能需要根据你拥有的 GPU 硬件进行调整。更多信息，请访问 GitHub 上的 databrickslabs/dolly。
Dolly 2.0 的局限与不足
尽管 Dolly 2.0 在开源、可商用的指令遵循语言模型方面取得了显著进展，但它并非没有局限性。
语言限制
一个关键不足是模型缺乏除英语之外语言的广泛训练。无论是 Dolly 2.0 还是其底层的 Pythia 骨干模型，都未在非英语数据集上进行充分训练。这意味着需要多语言能力的应用很可能需要进行大量的微调工作，以捕捉其他语言的细微差别，考虑到需要处理的无数语言特征，这可能并非可行策略。
上下文限制
另一个局限是 Dolly 2.0 相对狭窄的 Token 窗口——2048 个 Token。这远小于许多托管式语言模型支持的上下文大小（可达 32000 Token 或更多）。对于涉及大输入量的用例（如长文档摘要），Dolly 2.0 可能需要采用分块策略，并且由于一次能处理的上下文有限，可能产生次优结果。
可扩展性担忧
此外，当前的 Dolly 2.0 模型尚未扩展到 1000 亿参数级别，而某些应用可能需要这个级别才能与 ChatGPT 等模型的能力竞争。这种规模限制可能会在某些需要最强大语言模型的高风险或关键任务场景中限制 Dolly 2.0 的性能。
持续存在的限制
Databricks 也承认，作为一款处于积极开发中的研究型模型，Dolly 2.0 可能还会表现出各种其他限制。这些包括处理复杂提示、开放式回答、写作任务格式编排、代码生成、数学运算以及保持一致的幽默感或写作风格等方面的困难。虽然这些不足很可能通过进一步的迭代和优化得到解决，但它们代表了当前用户在为特定应用考虑 Dolly 2.0 时需要注意的制约因素。
克服 Dolly 2.0 的局限性
虽然像 Dolly 2.0 这样的开源模型代表了重要进步，但它们仍然存在显著的限制，可能制约其实际应用。为了克服这些限制，Novita AI 提供了全面的 LLM API，旨在赋予组织构建真正定制化 AI 解决方案所需的灵活性和能力。
模型多样性与定制化
我们 LLM API 的核心在于能够选择多种大型语言模型，而不仅仅是单一的预训练选项。这意味着你可以选择最适合特定用例的模型：无论是用于全球应用的多语言变体、用于关键任务的高参数模型，还是用于行业特定需求的专门领域调优版本。
但模型选择只是开始。我们的 API 还允许你通过精心设计的提示，系统地修改所选 LLM 的语气、个性和行为。通过微调模型的响应模式，你可以确保你的 AI 助手展现出与用户或客户有效互动所需的准确声音、同理心和专业度。
高级参数控制
除了模型和提示定制，我们的 LLM API 还赋予你精细控制权。你可以调整 temperature、top_p、presence_penalty、最大 Token 数等关键参数，以优化模型输出，满足特定应用需求。这种定制级别让你在创造力、连贯性和简洁性之间达到完美平衡。
无缝角色集成
为了进一步提升用户体验，我们的 LLM API 支持集成自定义角色，与最终用户进行对话。这些角色可以匹配你的品牌、行业或目标受众，帮助创造更沉浸式和个性化的互动。通过融合大型语言模型的强大功能与易于共鸣的角色，你可以构建真正触动人心的 AI 助手。
结论
尽管 Dolly 2.0 为商业受限的指令遵循语言模型提供了一个有前途的开源替代方案，但它并非没有局限性。组织在采用 Dolly 2.0 之前，应仔细评估其能力与限制，并结合自身特定用例和需求。为了克服 Dolly 2.0 和其他开源语言模型的限制，Novita AI 的全方位 LLM API 可以提供一个强大的解决方案。
Novita AI —— 一站式平台，为您提供 100 多个 API，激发无限创意。从图像生成到语言处理，再到音频增强和视频处理，按需付费，价格低廉，让您在构建自己产品的同时摆脱 GPU 维护的烦恼。立即免费试用。
