OpenAI 于周一发布了其最新的大型语言模型 GPT-4o，标志着从上一代 GPT-4 Turbo 的进步。接下来将探索其特性、效率及潜在应用。
什么是 OpenAI 的 GPT-4o？
GPT-4o 是 OpenAI 最新的多模态大模型。名称中的 “o” 代表 “omni”（源于拉丁语，意为“全部”），表明它能够处理包含文本、音频、图像和视频混合的提示。过去，ChatGPT 界面针对不同类型的内容需要使用不同的模型。
例如，在与 ChatGPT 的语音模式交互中，语音会通过 Whisper 转录为文本，然后由 GPT-4 Turbo 生成文本响应，最后使用 TTS 将响应文本转换为语音。
同样，将图像集成到 ChatGPT 交互中需要 GPT-4 Turbo 和 DALL-E 3 的组合。将这些功能整合到单个模型中，用于多种内容格式，有望实现更快的处理速度、更高的结果质量、更简化的界面以及探索新的用例。
GPT-4o 与 GPT-4 Turbo 有何不同？
通过采用一体化模型策略，GPT-4o 克服了之前语音交互功能的多个限制。
1. 考虑语气，支持情感响应
在之前的 OpenAI 系统中，涉及 Whisper、GPT-4 Turbo 和 TTS 的顺序处理流程中，推理引擎 GPT-4 只能访问转录后的口语词汇。这种方法导致关键元素如语调、背景噪音和多个说话者之间的区别被忽略。因此，GPT-4 Turbo 在生成具有不同情感或说话风格的响应方面受到限制。
然而，通过一个能够处理文本和音频的统一模型，这些宝贵的音频信息现在可以被利用，提供更高质量的响应，涵盖更广泛的说话风格。
在 OpenAI 提供的以下 视频 中，GPT-4o 展示了其生成讽刺性输出的能力。
2. 更低延迟实现实时对话
之前的三个模型流水线导致了与 ChatGPT 交互和接收响应之间的小延迟（“延迟”）。
OpenAI 披露，语音模式的平均延迟在 GPT-3.5 上为 2.8 秒，在 GPT-4 上为 5.4 秒。相比之下，GPT-4o 的平均延迟为 0.32 秒，比 GPT-3.5 快 9 倍，比 GPT-4 快 17 倍。
这种降低的延迟接近人类平均响应时间 0.21 秒，对于人类与 AI 之间频繁交换、响应间延迟积累的对话场景尤其关键。
这一功能让人想起 2010 年 Google 推出 Instant（搜索查询自动补全功能）时的情景。虽然搜索通常不花太多时间，但每次使用节省几秒可以提升整体产品体验。
GPT-4o 降低延迟使实时语音翻译成为一个更有前景的用例。OpenAI 展示了一个场景：一位英语同事和一位西班牙语同事通过 GPT-4o 即时翻译他们的对话进行交流。
https://youtu.be/WzUnEfiIqP4?si=dnnqaNxT4ncX7cfJ
3. 集成视觉能力，可描述摄像头画面
除了集成语音和文本能力，GPT-4o 还包含图像和视频功能。这意味着当被授予访问计算机屏幕的权限时，它可以描述屏幕上的内容，回答有关所显示图像的问题，甚至作为你任务中的支持伙伴。
在 OpenAI 发布的视频中，Khan Academy 的 Sal Khan 与 GPT-4o 一起帮助 Sal 的儿子完成数学作业。
https://youtu.be/_nSmkyDNulk?si=sFvBOgk9hznhqf4f
进一步扩展，如果你授予 GPT-4o 访问摄像头（例如智能手机上的摄像头），它可以描述其视觉环境。
在 OpenAI 的全面演示中，所有这些能力被结合起来。两部装有 GPT-4o 的智能手机进行对话。一个 GPT 可以访问智能手机摄像头，并将其视觉观察描述给另一个没有视觉能力的 GPT。
结果是一个人类和两个 AI 之间的三方对话。视频中还包括 AI 唱歌的部分，这是以前模型无法实现的能力。
https://youtu.be/MirzFk_DSiI?si=Dv7HoVcNliXD3lJg
4. 更好的非罗马字母分词，提供更高速度和性价比
大型语言模型（LLM）工作流程中的一个关键步骤是将提示文本转换为 tokens（模型能够理解的文本单元）。
在英语中，一个 token 通常对应一个单词或标点符号，尽管有些单词可能分成多个 token。平均而言，大约三个英语单词对应约四个 tokens。
减少模型表示语言所需的 token 数量可以降低计算量，加快文本生成速度。
此外，由于 OpenAI 根据输入或输出的 token 数量向 API 用户收费，更少的 tokens 意味着 API 用户成本更低。
GPT-4o 具备改进的分词模型，每个文本需要更少的 tokens。这一改进在使用非罗马字母的语言中尤为显著。
例如，印度语言（包括印地语、马拉地语、泰米尔语、泰卢固语和古吉拉特语）的 token 数减少了 2.9 到 4.4 倍。阿拉伯语 token 数减少了 2 倍，而东亚语言（如中文、日文、韩文和越南文）的 token 数减少了 1.4 到 1.7 倍。
5. 向免费计划推出
OpenAI 当前的 ChatGPT 定价结构要求用户付费才能访问顶级模型：GPT-4 Turbo 仅在 Plus 和 Enterprise 付费计划中可用。
然而，这种情况正在改变，OpenAI 承诺也将向免费计划提供 GPT-4o。Plus 用户将获得比免费计划用户多五倍的消息配额。
部署将逐步进行，首先让红队成员（负责识别模型漏洞的测试人员）立即访问，然后逐步向更广泛的用户推出。
6. 推出 ChatGPT 桌面应用
虽然不是专门针对 GPT-4o，但 OpenAI 还推出了 ChatGPT 桌面应用程序。考虑到前面讨论的延迟改进和多模态能力，以及应用的发布，显然与 ChatGPT 的交互方式将发生转变。例如，OpenAI 展示了一个使用语音和 ChatGPT 桌面应用增强编码工作流程的演示。在下方的用例部分向下滚动，即可看到这个实例！
GPT-4o 如何工作？
多种内容类型，单个神经网络
关于 GPT-4o 工作方式的细节仍然有限。OpenAI 在其公告中提供的唯一信息是，GPT-4o 是一个统一的神经网络，在文本、视觉和音频输入上进行训练。
这种新颖的方法不同于以前使用分别在不同数据类型上训练的独立模型的方法。
然而，GPT-4o 并不是第一个采用多模态方法的模型。2022 年，腾讯实验室推出了 SkillNet，这是一个结合 LLM transformer 特征与计算机视觉技术以增强中文文字识别的模型。
同样，2023 年，苏黎世联邦理工学院、麻省理工学院和斯坦福大学的合作产生了 WhisBERT，这是 BERT 系列大型语言模型中的一个变体。虽然并非开创性，但与这些早期尝试相比，GPT-4o 以其显著的雄心和能力脱颖而出。
GPT-4o 与 GPT-4 Turbo 相比是彻底的改变吗？
GPT-4o 架构相对于 GPT-4 Turbo 的修改程度似乎因咨询 OpenAI 的工程团队还是营销团队而有所差异。四月份，一个名为 “im-also-a-good-gpt2-chatbot” 的机器人出现在 LMSYS 的 Chatbot Arena（顶级生成式 AI 排行榜）上。这个神秘的 AI 现在被确认为 GPT-4o。
名称中包含 “gpt2” 具有重要意义。它将 GPT-4o 与 GPT-2（GPT-3.5 和 GPT-4 的前身）区分开来。普遍认为 “2” 后缀意味着 GPT 系列模型中的全新架构。
显然，OpenAI 研究或工程团队的某些人认为将文本、视觉和音频内容类型合并到单个模型中是一个足够重大的变化，足以在六年来首次增加版本号。
相反，营销团队选择了相对保守的命名方式，继续使用 “GPT-4” 惯例。
GPT-4o 与其他模型的性能对比
OpenAI 发布了 GPT-4o 与多个其他顶级模型的基准测试数据：
- GPT-4 Turbo
- GPT-4（初始版本）
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
其中，只有三个模型具有重要的比较意义：GPT-4 Turbo、Claude 3 Opus 和 Gemini Pro 1.5。这些模型最近几个月一直在 LMSYS Chatbot Arena 排行榜上争夺榜首。
虽然 Llama 3 400B 将来可能成为竞争者，但它仍在开发中。因此，此处呈现的基准测试结果仅关注这三个模型以及 GPT-4o。
评估使用了六个基准测试：
- 大规模多任务语言理解（MMLU）：涵盖从基础数学、美国历史、计算机科学、法律等任务。模型需要具备广泛的世界知识和问题解决能力才能在此测试中获得高准确率。
- 研究生级谷歌无法解答的问答（GPQA）：由生物学、物理学和化学领域的专家设计的多选题。问题质量高、难度极大，相关领域持有或正在攻读博士学位的专家正确率仅为 74%。
- MATH：包含初中和高中数学问题。
- HumanEval：评估计算机代码的功能正确性，用于评估代码生成。
- 多语言小学数学（MSGM）：包含翻译成十种语言的小学数学问题，包括孟加拉语和斯瓦希里语等代表性不足的语言。
- 段落离散推理（DROP）：关注需要理解完整段落的问题，涉及跨多个句子的加法、计数或排序值。
GPT-4o、GPT-4 Turbo、Gemini Pro 1.5 和 Claude 3 Opus 在六个 LLM 基准测试上的性能。每个基准测试的分数范围从 0 到 100。根据 OpenAI 提供的数据重新创建。Gemini Pro 1.5 未提供 GPQA 基准测试数据。
GPT-4o 在四个基准测试中优于其他模型，但在 MSGM 基准测试中被 Claude 3 Opus 超越，在 DROP 基准测试中被 GPT-4 Turbo 超越。尽管有这些特定结果，GPT-4o 的整体表现令人印象深刻，表明新的多模态训练方法具有潜力。
仔细比较 GPT-4o 与 GPT-4 Turbo 的数据，性能提升相对温和，仅有几个百分点的差异。虽然这标志着一年内的显著进步，但与从 GPT-1 到 GPT-2 或 GPT-2 到 GPT-3 所观察到的巨大性能飞跃相比仍有差距。
显而易见，每年在文本推理上实现 10% 的提升可能成为新常态。较容易的挑战已被解决，使得文本推理方面的重大进步越来越困难。
然而，这些 LLM 基准测试并未完全捕捉 AI 在多模态问题上的表现。多模态训练的概念仍然相对较新，缺乏有效的方法来衡量模型在文本、音频和视觉方面的熟练程度。
总体而言，GPT-4o 的性能令人印象深刻，并展示了多模态训练创新方法的潜力。
GPT-4o 用例
1. GPT-4o 用于数据分析与编码任务
最近的 GPT 模型及其衍生品（如 GitHub Copilot）已经能够提供代码辅助，包括编写代码、解释错误和修复错误。GPT-4o 的多模态能力带来了有趣的潜力。
在 OpenAI CTO Mira Murati 的宣传视频中，两位 OpenAI 研究员 Mark Chen 和 Barret Zoph 演示了使用 GPT-4o 与 Python 代码交互。
代码以文本形式呈现给 GPT，并利用语音交互功能向 GPT 请求解释代码。随后，在执行代码后，利用 GPT-4o 的视觉能力提供关于图表的解释。
总体而言，向 ChatGPT 展示屏幕并口头提问可能是比将图表保存为图像文件、上传到 ChatGPT 然后输入问题更简单的工作流。
2. GPT-4o 用于实时翻译
准备好带着 GPT-4o 去度假吧。凭借其低延迟语音能力，GPT-4o 实现了实时翻译，使这成为可能（前提是你的手机套餐中有漫游数据！）。这使得在不熟悉当地语言的国家旅行变得更加便利。
3. 与 GPT-4o 进行角色扮演
ChatGPT 已被证明是角色扮演场景的宝贵资源，无论是模拟你梦想数据职业的求职面试，还是训练你的销售团队提升产品销售。
以前，它主要支持纯文本角色扮演，这可能不适用于某些用例。然而，随着语音能力的增强，口头角色扮演现在是一个可行的选择。
不过，如果你更喜欢传统的文字角色扮演，可以选择 novita.ai LLM API:
4. GPT-4o 辅助视障用户
GPT-4o 解释来自摄像头的视频输入并口头叙述场景的能力具有巨大潜力，可为视障人士提供关键功能。本质上，它模仿了电视中的音频描述功能，但将其扩展到现实生活场景。
在 ChatGPT 中获取 GPT-4o 访问权限
ChatGPT 的地址已从 chat.openai.com 转移到 chatgpt.com，表明了对 AI 作为产品（而非仅仅是实验）的实质性投入。如果你的账户拥有 GPT-4o 访问权限，它在移动应用和网页上均可使用。
此外，Mac 应用已开始向某些用户分发。但请注意链接，因为诈骗者正在利用此版本向计算机分发恶意软件。最安全的方法是等待来自 OpenAI 的直接电子邮件或包含链接的通知。
即使你拥有有效的应用链接，在 OpenAI 账户授权之前也无法访问。如果过早尝试，你将看到一条错误消息，提示“You don’t have access”（你没有访问权限）。
登录 ChatGPT
无论你选择付费版还是免费版 ChatGPT，第一步都是登录。访问网站或下载应用并将其链接到你的账户。如果你还没有账户，只需注册即可。
检查模型选择
在屏幕顶部附近，你会看到一个下拉菜单，其中包含模型列表。在网页上，它可能已经显示为选中“GPT-4o”，但也可能显示“GPT-4”或“GPT-3.5”等选项。如果没有出现“GPT-4o”，则表示你尚未获得该模型的访问权限。
在移动设备上，如果你有访问权限，你会在屏幕顶部导航栏中间看到“ChatGPT 4o”。
开始聊天
如果你有访问权限，请像使用 GPT-4 一样开始与 GPT-4o 聊天。但请注意，存在速率限制，免费计划的限制明显更低。因此，你每天只能发送预定数量的消息。如果达到限制，你可以使用 GPT-4 或 GPT-3.5 继续对话。
在聊天中切换模型
你还可以在聊天会话期间切换所使用的 AI 模型。例如，如果你想控制使用 GPT-4o 发送的消息数量，你可以先用 GPT-3.5 开始聊天。然后，选择响应末尾的 sparkle 图标。
这将打开模型菜单，通过选择 GPT-4o（可能在处理更复杂的数学查询时需要），后续响应将使用 GPT-4o 生成。
上传文件
如果你拥有 GPT-4o 访问权限并且使用免费计划，现在可以上传文件进行分析。这些文件可以包括图像、视频甚至 PDF。然后，你可以向 GPT-4o 提出任何关于文件内容的问题。
GPT-4o 的限制与风险
生成式 AI 的监管仍处于起步阶段，欧盟 AI 法案是目前主要的法律框架。因此，开发 AI 的公司必须自行决定什么构成安全的 AI。
OpenAI 使用一个准备框架来评估新模型是否适合公开发布。该框架评估四个关键关注领域：
- 网络安全：评估 AI 是否会提高网络犯罪分子的生产力或促进漏洞的创建。
- BCRN：检查 AI 是否可能帮助专家设计生物、化学、放射或核威胁。
- 说服力：评估 AI 生成有说服力（可能是交互式）内容以影响个人改变信念的潜力。
- 模型自主性：调查 AI 是否可以作为自主代理运行，与其他软件一起执行操作。
每个关注领域被分类为低、中、高或严重，模型的总体得分对应四个类别中的最高等级。
OpenAI 承诺不会发布构成严重关注问题的模型。然而，这一安全门槛相对较低，因为严重关注的定义是能够显著扰乱人类文明的事物。GPT-4o 轻松避开了这一点，获得了中等关注等级。
不完美的输出
与所有生成式 AI 一样，模型可能并不总是按预期运行。计算机视觉技术并非完美无瑕，这意味着对图像或视频的解释不能保证准确。
同样，语音转录很少是 100% 精准的，尤其是当说话者有浓重口音或使用技术术语时。
OpenAI 发布了一个视频，展示了一些 GPT-4o 未能按预期工作的花絮。显著的失败案例包括无法成功翻译两种非英语语言、不恰当的语气（例如听起来居高临下）以及说错语言。
音频深度伪造风险加剧
OpenAI 公告承认，“GPT-4o 的音频模态引入了各种新风险。”在许多方面，GPT-4o 有可能加速深度伪造诈骗电话的泛滥，其中 AI 冒充名人、政客和个人的熟人。这是一个在得到有效解决之前可能会变得更糟的挑战，而 GPT-4o 有能力显著增强深度伪造诈骗电话的说服力。
为了应对这一风险，音频输出被限制在一组预定义的声音中。
可以想象，技术熟练的诈骗者可能会使用 GPT-4o 生成文本输出，然后使用自己的文本到语音模型。然而，目前尚不确定这种方法是否仍能保留 GPT-4o 在延迟和语气方面的优势。
GPT-4o 的价格是多少？
尽管速度比 GPT-4 Turbo 更快，视觉能力更强，但 GPT-4o 的价格将比其前身便宜约 50%。根据 OpenAI 网站的说法，使用该模型的成本为：输入每百万 tokens 5 美元，输出每百万 tokens 15 美元。
结论
GPT-4o 代表了生成式 AI 的重大进步，将文本、音频和视觉处理集成到一个高效模型中。这一创新有望带来更快的响应、更沉浸式的交互以及更广泛的应用程序，从实时翻译到增强的数据分析以及为视障人士提供更好的可访问性。
novita.ai，一个提供无限创意的一站式平台，可访问 100 多个 API。从图像生成、语言处理到音频增强和视频编辑，采用经济的即用即付模式，让您在构建自己的产品时无需处理 GPU 维护的麻烦。免费试用。
推荐阅读
