关键亮点
- 聊天模板定义：Mistral 中的聊天模板定义了结构化角色（如“用户”和“助手”）以及格式化规则，指导如何处理对话数据，确保在 AI 驱动的对话生成中实现连贯且上下文感知的交互。
- Mistral 聊天模板使用指南：本综合指南包括环境设置、构造和应用聊天模板。
- 自动化流水线效率：引入自动化聊天流水线可简化聊天模板的应用，提高针对特定对话上下文生成响应的效率。
引言
想知道如何掌握 Mistral 聊天模板的使用？请跟随我们全面的分步指南！在深入用户指南之前，我们将解析聊天模板的工作原理以加深您的理解。此外，我们还将介绍一个自动化聊天流水线以提升效率。如果您感兴趣，请继续阅读！
什么是 Mistral 聊天模板？
简而言之，“Mistral 聊天模板”指的是 Mistral 模型的聊天模板。
Mistral 模型系列
Mixtral 模型系列是 Mistral AI 根据 Apache 2.0 许可证提供的开源生成式 AI 模型的一部分。Mistral AI 将 Mixtral 模型开源，允许开发者和企业将其用于各种应用程序并进行定制。具体而言，Mixtral 模型有两个版本：Mixtral 8x7B 和 Mixtral 8x22B。
介绍聊天模板
LLM 在聊天应用程序中的使用越来越普遍。与处理连续文本序列的传统语言模型不同，聊天环境中的 LLM 处理由多条消息组成的持续对话。此对话中的每条消息都有一个特定角色，例如“用户”或“助手”，以及消息的实际文本。
类似于分词过程，不同的 LLM 对聊天交互需要不同的输入格式。为了解决这个问题，聊天模板被作为一种功能引入。这些模板被集成到分词器的功能中，概述了如何将对话消息列表转换为统一的、特定于模型的可分词字符串。
聊天模板是如何工作的？
消息结构
聊天模板中的每条消息通常表示为一个对象或字典，包含两个主要属性：
- 角色：指定说话者的角色，例如“user”或“assistant”。
- 内容：消息的实际文本或内容。
{"role": "user", "content": "Hello, how are you?"}
{"role": "assistant", "content": "I'm doing great. How can I help you today?"}
格式化规则
聊天模板定义了如何将这些消息连接或分隔，以形成模型可理解的连贯输入字符串。这可能涉及添加空白、标点或特殊标记来指示对话的结构。
示例：
- 简单模板（BlenderBot）：
" Hello, how are you? I'm doing great. How can I help you today? I'd like to show off how chat templating works!</s>"
- 复杂模板（Mistral-7B-Instruct）：
"<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s> [INST] I'd like to show off how chat templating works! [/INST]"
以 Mistral-7B-Instruct 为例，[INST] 和 [/INST] 标记用于分隔用户消息，指示模型已学会解释的特定结构信息。
与分词器集成
聊天模板被集成到模型的分词器中，以确保格式化的对话数据转换为模型可以有效处理的分词格式。这种分词对于模型根据对话提供的上下文生成合适的响应至关重要。
如何使用 Mistral 聊天模板？
要使用带聊天模板的 Mistral-7B-Instruct-v0.2 模型进行对话生成，您可以根据提供的信息执行以下步骤：
设置与配置
首先，确保您的环境中导入了必要的库并进行了设置，包括从 Novita AI 获取 Mistral 模型 API：
from transformers import AutoModelForCausalLM, AutoTokenizer
# Assuming you have already imported OpenAI and configured the client
# from openai import OpenAI
# client = OpenAI(base_url="https://api.novita.ai/v3/openai", api_key="<YOUR Novita AI API Key>")
# Define your model and tokenizer
model_name = "mistralai/Mistral-7B-Instruct-v0.2"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Set device (CPU or GPU)
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
构建聊天模板
将您的对话定义为消息列表，每条消息包含角色（“user”或“assistant”）和消息内容：
messages = [
{"role": "user", "content": "What is your favourite condiment?"},
{"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
{"role": "user", "content": "Do you have mayonnaise recipes?"}
]
应用聊天模板
使用分词器提供的 apply_chat_template() 方法，根据 Mistral 的聊天模板要求格式化消息：
encodeds = tokenizer.apply_chat_template(messages, return_tensors=“pt”)
model_inputs = encodeds.to(device)
生成响应
使用 Mistral 模型生成响应：
generated_ids = model.generate(model_inputs['input_ids'], max_new_tokens=1000, do_sample=True)
decoded_responses = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(decoded_responses)
说明：
- 分词：
apply_chat_template()方法将消息列表（messages）转换为 Mistral 模型期望的格式。它会自动添加必要的标记，如[INST]和[/INST]，以按规范分隔用户输入。 - 模型推理：
model.generate()用于根据格式化输入生成响应。根据需要调整max_new_tokens以控制生成响应的长度。do_sample=True启用从模型分布中采样，这可以提高响应多样性。 - 解码：
tokenizer.batch_decode()将生成的标记 ID 解码为可读文本，跳过特殊标记如<s>和</s>。
注意：
- 确保您的环境有足够的资源（CPU/GPU）来处理模型推理，尤其是像 Mistral-7B 这样的大型模型。
- 根据您具体应用对响应长度和生成策略的要求，调整参数如
max_new_tokens和do_sample。
如何使用自动化聊天流水线？
除了使用聊天模板（例如 Mistral 聊天模板）之外，Hugging Face Transformers 提供的自动化文本生成流水线简化了对话式 AI 模型的集成。使用“TextGenerationPipeline”（现在包含先前由已弃用的“ConversationalPipeline”处理的功能），可以轻松基于结构化聊天消息生成响应。
关键点
- 流水线集成：“TextGenerationPipeline”支持聊天输入，无缝处理分词和聊天模板应用。
- 已弃用的功能：较旧的“ConversationalPipeline”类已被弃用，统一采用“TextGenerationPipeline”方法。
- Mistral 模型示例：演示了使用 Mistral-7B-Instruct-v0.2 模型的流水线。消息按角色（“system”或“user”）和内容结构化，并根据 Mistral 的聊天模板格式化。
- 简化使用：初始化流水线并向其传递结构化消息列表，即可自动进行分词和模板应用。
- 输出示例：助手根据输入消息生成响应，保持 Mistral 模型指定的上下文和风格。
代码示例
from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
# Initialize the text generation pipeline with the Mistral model
model_name = "mistralai/Mistral-7B-Instruct-v0.2"
pipe = pipeline("text-generation", model=model_name)
# Define chat messages with roles and content
messages = [
{"role": "system", "content": "You are a friendly chatbot."},
{"role": "user", "content": "Explain the concept of artificial intelligence."},
]
# Generate response using the pipeline
response = pipe(messages, max_new_tokens=128)[0]['generated_text']
# Print the assistant's response
print(response)
在此代码示例中：
- 初始化：使用
pipeline("text-generation", model="mistralai/Mistral-7B-Instruct-v0.2")以 Mistral-7B-Instruct-v0.2 模型初始化流水线。 - 消息格式：消息按角色（“system”或“user”）和内容结构化，遵循 Mistral 的聊天模板格式。
- 响应生成：流水线自动处理分词并应用聊天模板。生成的响应反映输入上下文和 Mistral 模型指定的风格。
这种方法利用 Hugging Face Transformers 的功能简化了对话式 AI 模型的实现，确保高效、有效地集成到基于聊天的应用程序中。
聊天模板的实际应用
客户支持聊天机器人：
- 场景：客户与聊天机器人交互以进行故障排除或寻求帮助。
- 聊天模板：模板使用角色如“用户”（客户）和“助手”（聊天机器人）来结构化对话，确保聊天机器人理解用户查询并提供合适的响应。
- 收益：通过保持多次交互的上下文，提高解决客户问题的效率。
教育聊天机器人：
- 场景：学生与聊天机器人互动以提问、寻求解释或接受辅导。
- 聊天模板：结构化的角色如“学生”和“导师”指导教育内容的呈现和讨论方式。
- 收益：通过根据学生查询和学习目标调整内容交付，促进个性化学习体验。
医疗咨询：
- 场景：患者与虚拟医疗助手交互，获取医疗建议、症状检查或预约安排。
- 聊天模板：定义患者输入（症状、担忧）和医疗建议/响应的结构。
- 收益：确保医疗信息的准确传递、遵守隐私法规以及护理的连续性。
求职面试模拟：
- 场景：求职者参加由 AI 驱动的面试官进行的虚拟面试。
- 聊天模板：用角色如“面试官”和“候选人”结构化面试对话，指导问题和回答的流程。
- 收益：提供真实的面试练习、沟通技巧反馈，并为真实求职面试做准备。
结论
总之，掌握 Mistral 聊天模板的使用涉及理解其处理对话数据的结构化方法。我们探讨了聊天模板如何工作，特别是在 Mistral 模型（如 Mistral-7B-Instruct-v0.2）的上下文中。通过剖析这些组件，我们强调了聊天模板与 Mistral 的分词器和模型的无缝集成，确保连贯且上下文感知的对话生成。此外，我们引入了一个自动化聊天流水线，通过 TextGenerationPipeline 进一步简化流程，用统一的方法取代了已弃用的方法。
借助这些见解和工具，开发者和企业可以在 AI 驱动的对话系统中有效利用 Mistral 的强大功能，用于各种应用。
Novita AI 是一个一体化云平台，助力您的 AI 雄心。凭借无缝集成的 API、无服务器计算和 GPU 加速，我们提供成本效益高的工具，助您快速构建和扩展 AI 驱动的业务。消除基础设施烦恼，免费开始 — Novita AI 让您的 AI 梦想成真。
推荐阅读
