介绍
除了关于将LLM整合到业务实践中的普遍讨论之外，一个不那么公开的争论正在出现，即传统机器学习（ML）模型与大型语言模型（LLM）之间的比较。问题来了：传统的ML模型是否会过时，而LLM将主导AI领域？新颖性是否必然等同于优越性？
本文旨在剖析ML与LLM的讨论，探索它们的差异、功能，以及在各种AI应用中一种可能优于另一种的情况。
划清ML与LLM的界限
首先，必须认识到大型语言模型（LLM）是机器学习（ML）的一个子集。机器学习涵盖了广泛的算法和模型，从像朴素贝叶斯这样的基础模型到像神经网络这样更复杂的模型。LLM作为最近的突破，其存在归功于神经网络和用于训练的反向传播等概念，这些概念彻底改变了计算机视觉、自然语言处理（NLP）和强化学习等领域。然而，神经网络的变革潜力直到大约十年前才被完全实现，这主要是由于数据存储和计算能力的限制，而GPU的广泛采用以及廉价的数据存储和收集方法克服了这些限制。
理解机器学习
传统的ML模型长期以来依赖特征提取，这一过程对于金融和医疗等行业中的各种应用至关重要。支持向量机、决策树以及作为LLM基础浅层神经网络等技术，在很大程度上依赖于对可用数据进行的特征工程的质量。然而，由于人类设计复杂数学变换的能力有限，这种方法有其局限性。深度神经网络，特别是那些采用Transformer和CNN架构的网络，通过自动化和增强特征提取代表了重大飞跃。这些模型利用自监督学习技术来利用大量非结构化数据，减少了对广泛预处理的需求。虽然深度学习解决方案在推荐系统和搜索等任务中表现出色，但它们可能并不总是适用于需要学习排序技术的任务，此时像提升树这样的传统ML解决方案可能更合适。
理解自然语言处理（NLP）
在NLP领域，在Word2Vec和FastText等模型兴起之前，传统的文本处理技术（如TF-IDF和词袋）对于文本向量化至关重要。在BERT等模型出现之前，NLP工作的相当一部分集中在完善预处理步骤上。从BERT开始的Transformer为LLM铺平了道路，LLM在从互联网获取的大量文本数据上进行训练。由于广泛训练数据和庞大的参数规模，这些模型在翻译、问答和摘要等复杂语言任务中表现出色。
如果您对NLP和LLM之间的差异感兴趣，可以查看我们的博客：NLP vs LLM：主要区别与协同作用
ML和LLM之间的区别取决于应用的具体要求。对于需要细致语言理解或生成式AI的任务（如聊天机器人或文本摘要），LLM通常是更优选择，因为它们具有先进的能力。然而，在可解释性和计算效率至关重要的场景中，例如结构化数据分析或资源受限的环境（如边缘设备），传统ML表现突出。
在情感分析或推荐系统等某些领域，ML和LLM都可能提供可行的解决方案，各有独特优势。根据具体用例，这些方法可以是互补的而非竞争性的。下一节将深入探讨每种技术的实现细节和考虑因素，以帮助针对各种用例做出决策。
ML与LLM的决策矩阵
LLM在需要全面语言理解的生成任务中表现出色，而传统ML由于效率高、资源需求低，在判别任务中仍然有效。例如，ML可能更受青睐于情感分析或客户流失预测，而LLM更适用于代码生成或文本补全等复杂任务。
ML、DL与LLM的演示管道
让我们深入一个场景：我们想要构建一个情感分析模型，用于评估电子商务平台上评论的正面或负面情绪。
我们将考察三种不同的方法：使用XGBoost的机器学习方法、利用TensorFlow的深度学习方法，以及使用OpenAI提供的大型语言模型进行情感分析预测。
使用XGBoost的ML
首先，我将深入探讨使用XGBoost（一种强大且高效的机器学习算法）进行情感分析。本演示将突出从文本数据中提取特征、训练模型以及评估其性能的步骤，强调XGBoost在处理结构化数据方面的能力。
此代码片段展示了使用XGBoost（著名的梯度提升框架）结合TF-IDF进行文本向量化的情感分析机器学习管道的实现。基本概念是使用TF-IDF将文本数据转换为数值向量（该技术捕捉语料库中单词的重要性），然后应用XGBoost（一种基于提升树的高效强大算法）进行二分类任务。该管道对于结构化数据集特别有效，并且非常适合优先考虑可解释性和计算效率的场景。但需要注意的是，在此场景中，我们假设提供给管道的是完美无缺的文本数据，这通常不现实。通常，前面的步骤包括停用词去除和文本归一化等文本处理任务。
使用TensorFlow的深度学习：
在接下来的示例中，我将展示使用TensorFlow的深度学习方法。这里，我们构建一个简单（浅层）的神经网络来处理文本数据，旨在说明深度学习如何通过遍历神经网络层来辨别语言中的复杂模式。以下是使用TensorFlow with Keras的示例：
从之前展示的传统机器学习情感分析方法过渡，此代码片段转向了使用TensorFlow的深度学习方法，TensorFlow是一个用于构建基于神经网络模型的强大框架。此深度学习示例的核心是嵌入层，该概念因Word2Vec而广为人知。该层将单词转换为高维空间中的密集向量，以超越简单数值向量化的方式捕捉语义关系。与之前的TF-IDF和XGBoost方法相比，该深度学习模型在上下文中学习单词表示，使其能够把握语言使用的细微差别。该模型采用基本的神经网络架构，包括嵌入层、用于降维的池化层和用于分类的全连接层。
值得注意的是，为简单起见，实现的神经网络只有一个隐藏层。要充分利用深度神经网络（DNN）的特征提取能力，需要更深度和更复杂的神经网络。这种方法对于需要捕捉细微语言模式的大型复杂数据集非常有效。它是深度学习如何简化和增强特征提取的一个典型例子，而特征提取传统上需要大量的人工干预和领域专业知识。
使用GPT-3的LLM
最后，我探索了一个使用大型语言模型（特别是GPT-3）的示例，展示了这些在大型数据集上预训练的复杂模型如何通过最小配置用于情感分析，尽管依赖于外部API和资源。以下是使用OpenAI的GPT-3 API进行情感分析的示例：
最后一个代码片段展示了使用OpenAI的GPT-3（Davinci模型，一种先进的大型语言模型）进行情感分析的另一种方法。
在这里，模型训练和特征提取的复杂性被抽象化了，因为你基本上是通过使用预训练模型走了一条捷径。与之前模型在特定数据集上训练以适应任务的示例不同，GPT-3已经在庞大且多样化的数据集上进行了训练，使其能够理解和生成类似人类的文本。
这种方法的主要优势在于其简单性和多功能性。只需几行代码和一些提示工程，你就可以利用GPT模型的能力来执行广泛的任务，包括情感分析，无需大量的数据预处理或模型训练。此代码片段将文本发送到GPT-3 API并获取情感评估，展示了LLM如何可以立即可用于部署。它强调了自然语言处理领域取得的进步，其中语言理解的复杂性已嵌入预训练模型中，使其在各种应用中非常强大且用户友好。
然而，虽然这个解决方案更容易实施，并且可能更强大，但它掩盖了开发大型语言模型所涉及的复杂训练过程。这一点可能会引发技术和财务方面的考虑，我们接下来将深入探讨。
深入技术考量
探索大型语言模型的技术领域涉及导航技术债务和成本考量。虽然这些模型简化了部署并减轻了复杂性，如上例所示，但它们也带来了财务影响。这种从技术挑战到财务挑战的转变，凸显了我们需要仔细审视技术效率与部署和维护LLM相关的实际成本之间的权衡。
技术债务与成本
回顾之前的例子，很明显，虽然LLM（如GPT-4或Llambda）提供了简化的处理和用户友好性，但它们也在成本方面带来了挑战。这些模型能够理解并响应各种提示，显著简化了部署过程，并减轻了通常与模型开发和维护相关的复杂性。这与像XGBoost这样的ML方法形成鲜明对比，后者需要在特征工程和模型优化方面投入更多的实际操作。
在考虑LLM的应用时，可以将它们视为将构建机器学习和深度学习管道所涉及的复杂性和技术障碍转化为财务成本的一种方式。这是因为Transformer（这些模型的底层架构）处理了特征提取这一复杂任务，而这传统上需要大量的计算资源和专业知识。然而，这种便利性是以对强大图形处理单元（GPU）的更高依赖为代价的。如果自行托管LLM（如Llambda），这些GPU代表直接支出；如果使用托管服务（如OpenAI模型），此成本则计入服务费中。本质上，技术复杂性的负担被转化为财务负担，使得技术可及但需付出代价。
延迟与任务性质
在面向用户的应用程序中，AI模型处理和响应输入的速度（即延迟）至关重要。
传统的ML模型以其快速处理能力而闻名，非常适合高速、实时的应用，例如执行金融交易算法、提供推荐或管理紧急响应系统，在这些场景中，分秒必争的决策至关重要。
多年来，学术界和工业界投入了大量精力来优化和扩展与ML模型预测和训练相关的计算成本。
然而，在处理LLM时，情况发生了变化。以客户支持应用程序中的虚拟助手为例。虽然即时响应仍然重要，但LLM全面的语言理解能力可以显著提升交互的质量和深度，从而证明稍微延迟响应的合理性。这种微妙的权衡在内容生成任务中也很明显，LLM生成的文本或图像的丰富性和连贯性可能超过其他应用中即时结果的必要性。
本质上，在传统ML模型和LLM之间做出选择需要仔细评估手头任务的具体性质和紧迫性。延迟和语言理解之间的平衡成为确定给定技术背景下的最优解决方案的关键因素，凸显了定制化方法的必要性，并认识到不同的应用需要不同的考虑。
尽管如此，正在进行的努力旨在优化这些LLM所需的计算资源，以便在更大规模上提供更快的响应。
结论
在考虑ML与LLM时，必须理解它们各自的优势和劣势。最终决定取决于具体的应用需求和约束，例如成本、延迟和任务性质。然而，在评估你的选择时，有两个关键考虑因素应始终放在首位。
novita.ai，一站式平台，提供无限创意，让您访问100+ API。从图像生成和语言处理到音频增强和视频操作，按使用量付费，价格低廉，在构建自己的产品时无需担心GPU维护。立即免费试用。
推荐阅读
