引言
面对众多可用的大语言模型（LLM），要找到完全符合你特定需求的模型似乎令人不知所措。这个领域不断演进，几乎每周都有新模型和改进版本出现。因此，任何试图罗列LLM及其特性的尝试都会很快过时。
本文并非要逐一描述每款顶级LLM并指出其优缺点，而是提供一套评估模型的标准。通过提供一个分析框架，读者可以依据核心特征对新发布的模型进行评估，并进行有效比较。评估LLM时需要考虑的主要属性包括：
- 规模
- 架构类型
- 基准性能
- 训练过程与偏见
- 许可/可用性
LLM 的规模是什么？
选择LLM时首要考虑的是预算约束。运行LLM可能会产生高昂的成本，因此选择一款在预算范围内的模型至关重要。成本的一个指示性因素是LLM中的参数数量。
模型的参数数量是什么？
参数数量对应着模型在训练过程中调整并用于计算输出的权重和偏置的数量。为什么这个数量很重要？它粗略反映了模型的性能开销和推理速度。一般来说，这些因素直接相关：参数数量增加，生成输出的成本也随之增加。
模型的推理速度是什么？
语言模型的推理速度是指处理输入所需的时间，本质上就是其输出速度。需要承认的是，模型的推理速度和整体性能复杂且多面，并非仅由参数数量决定。但就本文而言，参数数量可以粗略估计模型的潜在性能。幸运的是，存在几种成熟的方法来减少机器学习模型的推理时间。
各LLM的参数数量。
中等规模的模型通常包含少于100亿个参数，而更便宜的模型可能少于10亿。但少于10亿参数的模型通常较旧，或并非专门针对文本生成任务。另一端，昂贵的模型拥有超过1000亿个参数，例如 GPT-4 拥有惊人的1.76万亿个参数。许多模型系列，包括 LLaMa 2、Mistral、Falcon 和 GPT，都提供参数少于100亿的小版本，以及100亿到1000亿之间的大版本。
LLM 有哪些不同类型？
广义上，基于 transformer 的 LLM 可根据架构分为三类：仅编码器（encoder-only）、编码器-解码器（encoder-decoder）和仅解码器（decoder-only）。这种分类有助于理解模型的预期用途及其在文本生成任务中的表现。
什么是仅编码器模型？
仅编码器模型只使用编码器组件，负责编码和分类输入文本。这些模型有助于将文本分配到特定类别。BERT 是主流的仅编码器模型，它作为掩码语言模型（MLM）和下一句预测（NSP）进行训练。这两个训练目标都需要识别句子中的关键元素。
什么是编码器-解码器模型？
编码器-解码器模型首先对输入文本进行编码（类似于仅编码器模型），然后基于编码输入生成或解码响应。BART 是编码器-解码器架构的一个例子。这些模型既适用于文本生成任务，也适用于理解任务，使其在翻译等场景中特别有价值。例如，BART 擅长将长文本（如文章）总结为连贯的输出。BART-Large-CNN 是一个微调变体，专门用于生成文本摘要，它在多样化的新闻文章上训练。总体而言，编码器-解码器模型兼具文本理解和生成任务的双重用途。
什么是仅解码器模型？
仅解码器模型专门根据给定提示生成下一个词或标记，专注于文本生成任务。它们训练简单，特别适合纯文本生成。GPT、Mistral 和 LLaMa 等模型系列属于仅解码器类别。如果你的主要需求是文本生成，仅解码器模型是首选。
但需要注意的是，Mistral 的 8x7B（又称 Mixtral）采用了称为“混合专家”的独特架构，这与传统的仅解码器模型有所不同。同样，有迹象表明 GPT-4 可能使用了类似的技术。因此，这些模型可能不能简单地归入仅解码器类别。此外，像检索增强生成（RAG）这样的新兴架构技术也难以归入这些既定类别。
你可以在我们的博客中深入了解 RAG 技术：什么是 RAG：检索增强生成的全面介绍
如何衡量 LLM 的性能质量
有多种指标用于评估语言模型理解、解释和准确回应各种提示的能力。这些评估方法取决于语言模型的预期用途。例如，BERT 是主要针对分类等任务的仅编码器模型，不会使用与 GPT-3（专为文本生成的仅解码器模型）相同的标准进行评估。在接下来的部分中，我们将解释一些用于评估文本生成 LLM 的方法。
使用学术考试衡量 LLM 的质量
评估生成式语言模型有效性的一种常见方法是让其参加考试。例如，GPT-4 在一系列学术测试中与 GPT-3.5 进行了比较。通过这个过程，模型的表现与人类分数以及先前模型分数进行比较，从而了解其在学术语境中的推理能力。下面简要列出了 GPT-4 参加的一些考试，以及它与 GPT-3.5 和人类平均水平的比较分数：
GPT-4 和 GPT-3.5 在标准化考试中与人类平均水平的性能对比。
另一种类似学术考试的绩效指标是向模型展示不同的问答（QnA）数据集。这种方法被用于 Hugging Face Open LLM Leaderboard，为基于 QnA 数据集比较不同 LLM 提供了宝贵资源。这些数据集提供了一种简单的基准测试方法，可评估 LLM 的整体智能和逻辑能力。
LLM 之间的质量对比表
需要注意的是，将 0-shot 分数与 25-shot 分数进行比较价值不大。理想情况下，进行质量比较时，应保持提示类型一致。即使使用相同的提示方法比较两个数据点，测试过程的差异仍可能导致不准确。尽管如此，下面应提供一个粗略的质量比较：
LLM 在 ARC、MMLU 和 WinoGrande 测试中使用 few-shot 和 zero-shot 提示的质量对比表。
目前用作聊天机器人的最佳 LLM 是什么？
查看此表，同时考虑前面提到的免责声明，很明显 GPT-4 在整体质量上表现最佳。但就性价比而言，Mistral 模型是最佳选择。特别是 8x7B Mistral 版本采用了一种独特技术，融合了多个 Mistral 7b 模型，从而产生更高质量的输出。这种方法创建了一个高效模型，在基准评估中也表现出色。
训练数据如何影响 LLM
模型的训练数据集选择带来了重要考虑因素。使用了什么类型的数据？数据集是否针对特定应用？数据集中是否存在可能影响模型的固有偏见？
模型偏见如何产生——以 BERT 为例
对于大多数 LLM，训练数据通常非常庞大，旨在为模型提供语言的基础理解。例如，BERT 使用 Wikipedia（25亿词）和 BookCorpus（8亿词）进行预训练。但在某些情况下，例如 Mistral 的模型，其训练数据集未公开。
检查这些数据集可以洞察模型中可能存在的偏见。以 BERT 为例，它严重依赖英文 Wikipedia 数据集进行训练。虽然 Wikipedia 通常被认为是中立和无偏见的来源，但这并不总是成立。例如，《卫报》报道称，只有 16% 的 Wikipedia 编辑是女性，而关于知名人物的文章中仅 17% 涉及女性。此外，关于撒哈拉以南非洲的内容主要由该地区以外的人撰写。鉴于 BERT 依赖英文 Wikipedia，平台中存在的偏见很可能被模型继承。事实上，有证据表明 BERT 在其输出中表现出性别和种族偏见。总之，预训练模型训练数据集中的偏见会影响其文本生成能力。因此，在评估模型时应当考虑这些偏见，因为它们会影响最终用户体验。
什么是微调模型？
微调是指在新的数据上重新训练已训练的模型，通常会产生针对特定用途的专门分支模型。微调所使用的数据选择对于评估模型的潜在应用至关重要。例如，FinBERT 是 BERT 的一个分支，它在大量金融语言数据集上进行了微调，使其特别适用于分析文本的金融情感。如果你想了解更多关于微调的信息，请阅读我们的文章：如何微调大语言模型？
一些模型被设计为允许进一步微调，而另一些则已经微调以完成特定目标。例如，Falcon 等模型可能有相应的聊天版本，经过优化以有效地作为聊天机器人运行。微调模型有多种方法，但具体技术细节超出了本文范围。一般来说，微调模型通常会提供有关其预期用途和所用微调技术的信息。
每个语言模型使用什么数据集？
由于训练数据对模型性能有重大影响，开发者设计了多种网页抓取方法来获取高质量数据集。例如，OpenAI 的 Webtext 工具抓取“所有从 Reddit 获得至少 3 个 karm 的外链”。以下是到目前为止一些最著名模型所使用的数据集列表，请注意许多开发者不公开他们使用的数据集。
最流行 LLM 训练所使用的数据集。
LLM 的许可和可用性
对于商业使用 LLM，必须评估特定模型的许可条款。此外，可用性可能有所不同：某些模型是闭源的，只能通过其 API 访问。
什么是闭源语言模型？
闭源模型意味着其源代码不公开。GPT-3 和 GPT-4 属于此类，通常只能通过 API 访问。虽然 API 集成可能简单直接，但也需要费用。一般来说，对于平台集成，根据规模大小，使用开源语言模型并通过 UbiOps 等平台进行训练或部署更具成本效益。
novita.ai LLM API
什么是开源 LLM？
开源 LLM 是指公开可用的模型，根据其许可证可用于商业目的。此外，根据许可条款，可以对其进行微调、分叉或修改。通常，对于平台集成或微调，建议选择开源模型。
此外，利用开源技术有利于推动 LLM 领域的发展，因为它激励模型改进和定制，最终使整个社区受益。
商业许可
拥有商业许可的模型适用于商业目的，可以集成到商业平台中。
LLM 及其许可概览。
结论
选择符合你需求的 LLM 可能看似令人不知所措，但你可以通过将关键特性与需求进行对比来简化评估过程。这些特性包括规模、类型、质量基准、训练方法、偏见和许可。虽然此列表只是一个起点，但还有众多其他因素需要考虑。尽管如此，本文旨在为你提供评估新发布 AI 模型所需的知识，使你能够判断其是否适合你的需求，并决定是否需要进一步研究。
novita.ai 是一个一站式平台，提供无限创造力，可访问 100 多个 API。从图像生成、语言处理到音频增强和视频处理，按量计费价格低廉，在构建自己的产品时免去 GPU 维护的烦恼。免费试用。
推荐阅读
