介绍
最近，一个仅有70B参数的大语言模型超越了GPT-3。这个名为Chinchilla的LLM由Hoffmann及其同事开发。在他们的工作中，他们指出 当前的大语言模型 并非计算最优。这是为什么呢？他们如何训练所谓的计算最优LLM Chinchilla？他们的方法有哪些局限性，我们又如何克服这些局限性？在这篇博客中，我们将逐一探讨这些问题。
什么是计算最优的大语言模型？
计算最优LLM的核心思想是在模型大小（参数数量）与训练数据量之间取得恰当平衡。这与以往的做法形成对比——以往更激进地增加模型大小而非训练数据，导致模型相对于其容量而言严重欠训练。
计算最优LLM的核心特征是什么？
特征1：模型大小与训练数据的均衡扩展
计算最优LLM不是指数级扩展模型大小而仅少量增加训练数据，而是等比例增加模型大小和训练数据。这确保了模型容量被可用训练数据充分利用。
特征2：整体计算效率的优化
目标是找到模型大小与训练数据之间的最佳点，使得每个计算单元获得最佳性能。这样可以在固定计算预算内最大化模型能力，而不仅仅是创下模型大小的新纪录。
特征3：微调和推理所需的计算资源更少
这进一步提升了效率和实际可用性，因为部署和使用模型更具成本效益。
这些流行的LLM难道不是计算最优的吗？
遗憾的是，根据Hoffmann等人(2022)的观点，这些流行的LLM并非计算最优。我们首先回顾一下影响当前LLM的理念。
对模型大小的关注
Kaplan等人(2020)先前的研究展示了语言模型大小与性能之间存在引人注目的幂律关系。具体来说，他们发现随着模型参数数量指数级增加，模型在各种基准上的性能以一致的幂律速率提升。
这项开创性工作对大语言模型领域产生了深远影响，导致研究者和工程师们将模型大小扩展作为提升的主要方向。逻辑很清晰——如果性能如此可预测地随模型大小扩展，那么实现更好LLM的途径必然是构建越来越大的模型。
重新关注训练数据量
Hoffmann等人(2022)认为，对模型扩展的这种单一关注付出了巨大代价。他们指出，当前最先进的LLM实际上严重欠训练，研究重点完全放在增加模型大小上，而没有按比例增加训练数据量。
这一批评是其论文的关键贡献。作者认为，该领域忽视了模型与数据之间的基本权衡，一味追求将模型大小推向新纪录，却不确保这些模型在相应数量的高质量数据上训练。结果，他们指出，LLM可能拥有令人印象深刻的参数数量，但考虑到投入的训练计算资源，其性能最终是次优的。
通过将注意力重新集中到模型容量与训练数据之间的核心权衡上，作者为他们对这两个关键因素之间真正最优平衡的实证研究奠定了基础。他们的发现（详见后续章节）为开发计算高效的大语言模型提供了新范式。
如何训练计算最优的大语言模型？
在本节中，我们将深入探讨Hoffmann等人(2022)的论文《Training Compute-Optimal Large Language Models》。一如既往，如果你觉得研究细节过于技术化，可以直接接受结论并跳过本节：对于计算最优训练，模型大小和训练token数量应等比例扩展——模型大小每增加一倍，训练token数量也应翻倍。
经验性地估计模型与数据的最优权衡
为了研究模型大小与训练数据之间的最优权衡，作者训练了超过400个模型，参数范围从7000万到160亿，数据集从50亿到5000亿token不等。他们将最终预训练损失建模为模型大小和训练token数量的函数。
关键发现
作者发现，对于计算最优训练，模型大小和训练token数量应等比例扩展——模型大小每增加一倍，训练token数量也应翻倍。这与Kaplan等人的建议形成对比，后者建议训练token的增加幅度小于模型大小。
训练计算最优模型：Chinchilla
作者将他们的发现应用于训练一个700亿参数的模型，称为Chinchilla，使用了与2800亿参数Gopher模型相同的计算预算。Chinchilla在广泛的下游任务上显著优于Gopher、GPT-3、Jurassic-1和Megatron-Turing NLG，同时微调和推理所需的计算量也大大减少。
总结
该论文证明了当前的大语言模型严重欠训练，并提供了一种原则性方法来确定给定计算预算下的最优模型大小和训练数据。这对未来大规模语言模型的高效开发具有重要意义。
如果你想了解更多技术细节，欢迎阅读原始期刊文章。
训练计算最优大语言模型方法的局限性
尽管本文概述的计算最优大语言模型方法提出了一个令人信服的理论框架，但仍存在几个潜在局限性：
海量训练数据的可用性
- 该方法依赖于访问极大、高质量的数据集来训练模型。
- 获取和整理如此大规模的数据集可能具有挑战性、耗时且成本高昂。
- 这可能会限制该方法在实际中的实现，尤其是对于较小的研究团队或组织。
硬件和计算约束
- 训练具有成比例数据量的超大模型需要巨大的计算资源。
- 访问必要的硬件（例如强大的GPU、TPU）以及所需的电力/冷却基础设施可能成为限制因素。
- 与该方法相关的整体计算成本可能令许多人望而却步。
领域特定性能
- 本文重点关注通用语言模型，但对于针对特定领域或任务的模型，模型大小和训练数据的最优平衡可能会有所不同。
- 某些应用可能需要不同的权衡方法才能获得最佳结果。
缺乏实证验证
- 尽管提出的原则在逻辑上合理，但本文并未提供实证证据或案例研究来证明计算最优方法的有效性。
- 需要进一步的研究和实际实施来验证这些说法并量化收益。
潜在的社会影响
- 扩大模型大小和训练数据可能会加剧对AI安全、安保以及大规模机器学习环境影响的担忧。
- 本文未涉及这些社会影响，需要仔细考虑。
总体而言，计算最优LLM方法的实际实施可能面临与数据、硬件、领域特定性和更广泛影响相关的重大挑战。需要实证评估和进一步研究来充分评估其可行性和收益。
提升LLM性能的另一种途径
尽管前文概述的计算最优方法为开发高性能LLM提供了一个有说服力的框架，但还有一种替代解决方案可以提供更大的灵活性和效率：LLM API。
与其依赖单个固定的LLM，Novita AI LLM API 提供了多种语言模型的访问，每个模型都有其独特的能力和专长领域。这使得用户可以根据具体需求选择最合适的模型。
此外，Novita AI Model API 使用户能够轻松调整关键模型参数，例如 top p（控制模型选词过程，以促进更多样和更有意义的文本生成）、temperature（调节模型文本生成中的随机性和探索程度）、max tokens（限制模型输出的长度）和 presence penalty（惩罚模型过度重复词语，激励其生成更多样化的文本）。这种定制级别使得可以微调LLM的性能，以匹配每个项目或用例的独特需求，从而产生更优化和量身定制的结果。
除了可调参数外，Novita AI Model API 的另一突出特性是支持系统提示输入。用户可以提供自定义提示或模板来引导语言模型的行为，从而实现更有针对性和目的性的响应。这对于需要特定语气、风格或领域知识的应用尤其有价值。
结论
Hoffmann等人的工作代表了在实际计算约束下优化大语言模型训练的重要一步。他们的核心思想——平衡模型容量和训练数据规模——既有理论基础，也通过他们的Chinchilla模型得到了实证验证。通过避免严重欠训练的陷阱，这种计算最优方法相比之前最先进的LLM（如GPT-3）释放了新的性能和效率水平。
然而，大规模实施这种计算最优训练并非没有挑战。策划极大、高质量的数据集存在困难。从硬件到能源成本，足够计算资源的可用性也可能阻碍普及——尤其是对于较小的组织。一种提供更多灵活性的替代方法是利用像Novita AI Model API这样的先进语言模型API。这些API使用户能够访问针对不同用例定制的多种预训练模型。
Novita AI 是一个一站式平台，释放无限创造力，提供100多个API。从图像生成、语言处理到音频增强和视频编辑，按需付费，价格低廉，让您在构建产品时摆脱GPU维护的烦恼。立即免费试用。
推荐阅读
