本文概述了大型语言模型（LLM）的配置设置，深入探讨了大上下文窗口的优势与劣势，并通过实际示例说明调整这些设置如何影响各种任务中 LLM 的输出。
引言
大型语言模型基于概率来确定下一个最可能的 token 或单词，这些概率源于训练数据、提示和设置。之前的讨论已经强调，提示技术能够为 LLM 注入类似人类的推理能力，而检索增强生成（Retrieval Augmented Generation）等技术则通过授予外部知识源访问权限来增强其能力。
然而，无论提供的上下文和提示如何，调整 LLM 设置或参数都会显著影响最终输出。掌握这些设置对于有效利用大型语言模型并引导其产生期望行为至关重要。在本文中，我们将探讨 LLM 的基本参数，如温度、Top P、最大令牌数和上下文窗口，阐明它们如何影响模型输出。
什么是 LLM 温度？
简单来说，温度是一个范围在 0 到 1 之间的参数，决定了大语言模型（LLM）生成响应时的随机程度。较高的温度会导致更多样化、更具创造性的输出，而较低的温度则产生更保守、更可预测的响应。
当温度设置为零时，给定相同的提示，LLM 将始终产生相同的输出。提高温度会增强模型的创造力，提供更广泛的输出。然而，过高的温度可能导致输出缺乏连贯性或意义。
不同 LLM 的默认温度设置各不相同，取决于模型类型以及是通过 API 还是 Web 界面访问等因素。例如，关于 ChatGPT-3.5 和 4 的讨论中，常提到默认温度设置在 0.7 到 0.8 左右，尽管精确值通常不公开。
温度设置
温度参数是一个数值，通常介于 0 和 1 之间，尽管有时可能超出此范围，它影响模型在选择词语时的风险承担或保守程度。它调整下一个单词的概率分布。
以下是不同温度参数对大型语言模型影响的详细说明：
低温（<1.0） —— 当设置为低于 1 的值时，模型的输出往往更具确定性和重复性。较低的温度会优先选择最可能的下一个单词，减少输出变异性。这有利于获得可预测且保守的响应，但可能生成更缺乏创意或多样性的文本，使模型显得更机械。
高温（>1.0） —— 将温度设置为高于 1 会增加生成文本的随机性。模型更倾向于选择序列中概率较低的单词作为下一个单词，产生更多样化、有时更具创造性的输出。然而，这种高度随机性可能导致错误或无意义的响应，因为模型较少受训练数据概率分布的约束。
温度为 1.0 —— 这通常是默认设置，旨在平衡随机性和确定性。模型生成的文本既不过分可预测，也不太随机，利用了训练过程中学到的概率分布。
LLM 温度建模的使用场景
在建模中微调温度参数需要在随机性和确定性之间找到恰当的平衡，这对生成文本质量深刻影响用户体验或决策过程的应用程序至关重要。
在实际场景中，温度设置的选择取决于期望的结果。需要创造性或多样化响应的任务可能受益于较高的温度，而要求准确性或事实正确性的任务通常偏好较低的温度。
以下是 LLM 模型的一些常见使用场景和推荐温度设置：
创意写作 —— 采用较高温度可以激发创造力并产生多样化的输出，有助于克服写作障碍或生成创新内容想法。
技术文档 —— 为了确保内容的精确性和可靠性，偏好较低温度，在技术文档中准确性和一致性至关重要。
客户互动 —— 调整温度可以定制聊天机器人或虚拟助手的响应，使其符合组织的品牌和语调，并满足目标受众的偏好。
什么是 Top P
Top P，也称为核采样（nucleus sampling），是影响 LLM 输出随机性的另一个参数。该参数决定了将 token 包含在 LLM 用于生成输出的候选集中的阈值概率。该参数的值越低，LLM 的响应越精确、基于事实；值越高，生成的输出随机性和多样性越大。
例如，将 Top P 参数设置为 0.1 会使 LLM 输出确定且集中。另一方面，将 Top P 增加到 0.8 则允许较少约束、更具创造性的响应。
什么是最大令牌数
虽然温度和 Top P 调节 LLM 响应的随机性，但它们并未对模型接受输入或生成输出的大小设置任何限制。相比之下，另外两个参数——上下文窗口和最大令牌数——直接影响 LLM 的性能和数据处理能力。
上下文窗口以 token（可以是整个单词、子词或字符）为单位，决定 LLM 一次可以处理的单词数量。另一方面，最大令牌数参数设置了 token 总数的上限，包括作为提示提供给 LLM 的输入以及 LLM 针对该提示生成的输出 token。
理解上下文窗口
通常，大语言模型（LLM）中上下文窗口的大小决定了模型在生成输出时能够保留和利用的信息量。较大的上下文窗口使 LLM 能够记住更多上下文，从而产生更连贯、更准确的响应。然而，如果输入超过上下文窗口，模型会开始“遗忘”较早的信息，可能导致相关性较低、质量较差的输出。
此外，上下文窗口的大小对提示工程技术施加了限制。像思维树（Tree-of-Thoughts）或检索增强生成（RAG）等方法需要较大的上下文窗口才能有效，因为它们依赖向模型提供足够的信息来生成高质量响应。
随着 LLM 的发展，它们的上下文窗口也在扩大，允许一次性处理更多 token。例如，GPT-4 的上下文限制为 8,192 个 token，而较新的模型如 GPT-4 Turbo 支持高达 128K 个 token 的上下文窗口。类似地，Anthropic 已将 Claude 工具中的上下文限制从 9,000 个 token 提高到 Claude 2.1 版本中的 200K 个 token。
大上下文窗口何时不会带来更好的输出？
虽然较大的上下文窗口使 LLM 能够处理更长的输入，可能产生更相关的响应，但扩大上下文限制并非普遍有利。有几个缺点需要考虑。
首先，更大的输入数据集需要 LLM 花费更多时间来生成响应。处理较大上下文窗口带来的计算复杂度增加进一步加剧了这一问题。
其次，与较大上下文窗口相关的计算成本成比例上升。
此外，Liu 等人（2023）的研究突出了另一个挑战：大型语言模型通常难以有效访问长输入上下文中的信息。他们的研究表明，当相关信息位于输入的开头或结尾时，LLM 取得最佳性能。相反，从长上下文中间使用信息会导致模型性能下降。
其他 LLM 设置
还有一些其他设置可以影响语言模型的输出，包括停止序列、频率惩罚和存在惩罚。
停止序列
停止序列指定模型何时应停止生成输出，从而实现内容长度和结构的控制。例如，当提示 AI 撰写电子邮件时，设置“此致敬礼”或“诚挚的”作为停止序列，确保模型在结束问候语之前停止，从而生成简洁、重点突出的电子邮件。停止序列对于生成预期遵循结构化格式的输出（如电子邮件、编号列表或对话）很有价值。
频率惩罚
频率惩罚是一种通过根据 token 出现的频率对其进行惩罚来抑制生成文本中重复的设置。文本中出现频率较高的 token 被 AI 再次使用的可能性较低。
存在惩罚
存在惩罚的操作与频率惩罚类似，但它根据 token 是否在文本中出现过（而不是按其出现比例）施加固定惩罚。
来源：novita.ai
导入角色（可选）
一些 LLM 有特殊的设置，例如导入角色。通过导入角色卡片，你可以与你喜欢的任何角色聊天。
novita.ai LLM 的导入角色功能
如何调整 LLM 设置？
如前所述，调整温度、Top P 和最大令牌数等参数可以帮助微调 LLM，以产生更相关、更准确的结果。将温度或 Top P 降低到 0.1 或 0.2 等值可减少随机性，产生更集中的答案，适用于代码生成或数据分析脚本编写等任务。相反，将温度或 Top P 参数提高到 0.7 或 0.8 左右可鼓励更具创造性和多样性的输出，非常适合创意写作或讲故事。通常建议只修改温度或 Top P 参数中的一个，而不是同时修改两者。
同时，更改最大令牌数参数可以自定义 LLM 输出的长度。这种灵活性在定制 LLM 以生成聊天机器人的短响应或文章的长篇内容时很有用。此外，调整最大令牌数参数在代码生成（用于软件开发）或摘要较长文档等场景中也很有用。
总结
总之，熟练使用温度、Top P、最大长度等设置对于使用语言模型至关重要。这些参数能够精确控制模型的输出，使其适应特定任务或应用。它们控制响应的随机性、长度和重复频率等因素，所有这些都有助于增强与 AI 的交互。
novita.ai 是一个一站式平台，为您提供无限创意，可访问 100 多种 API。从图像生成到语言处理，再到音频增强和视频编辑，采用经济实惠的即用即付模式，让您在构建自己的产品的同时摆脱 GPU 维护的烦恼。免费试用。
推荐阅读
