官方揭秘ChatGPT Agent背后原理！通过强化学习让模型自主探索最佳工具组合

ChatGPT Agent的技术内幕，被官方披露了。

就在OpenAI官方推出其最强智能体后，外界褒与贬的热议都没停过……但不论如何，都被视为智能体方向上标志性的一步，是OpenAI一个全新的开端。

关于更进一步的Agent Mode的工作原理，OpenAI开发团队在和投资方红杉资本的圆桌谈话中做了详细解析，还回答了几个值得关注的问题。

这是OpenAI官方首次详细解析ChatGPT Agent功能背后的原理。

ChatGPT Agent由以下四个部分组成：

Deep Research（基于文本的研究智能体）
Operator（基于GUI/操作的计算机智能体）
其他新工具（终端、图像生成、API调用等）
通过共享状态进行整合

然而，智能体也不是想要整合就能整合的，在这场谈话中，OpenAI透露了他们的训练方法，以及他们为ChatGPT Agent做出的组织调整。

量子位提取并总结了一些关键信息，让我们一起来看。

歪打正着的起源

在正式走近ChatGPT Agent之前，让我们介绍一下这次谈话的几位主角，他们分别是OpenAI团队核心成员Isa Fulford、Casey Chu和孙之清。

Isa Fulford，斯坦福大学计算机科学硕士（人机交互方向），2022年11月加入OpenAI，现主导ChatGPT Agent的交互范式设计。
Casey Chu，OpenAI资深员工，斯坦福数学硕士，领导GPT-4视觉输入初始原型开发，现为Operator/ChatGPT Agent技术负责人。
孙之清，95后北大校友，DeepResearch负责人，去年6月博士还没毕业就加入了OpenAI，在后训练团队担任研究科学家，已参与OpenAI的诸多核心项目。

在这次的谈话中，他们介绍了ChatGPT Agent的起源：

我们团队分别开发了Operator和Deep Research，在分析用户请求时发现，Deep Research的用户非常希望模型能够访问需要付费订阅的内容或有门槛的资源，而Operator恰好具备这种能力。

通过分析Operator的用户提示发现，很多用户实际上试图用它执行Deep Research类型的任务。

除了整合两个核心工具，我们还添加了终端、图像生成等多项功能。

原本两个功能不同的智能体，就这样在用户的“错用”下合二为一，变成了一个更通用的ChatGPT Agent。

1+1>2，怎么做到的？

简单地说，ChatGPT Agent是Deep Research和Operator合作的成果。

Deep Research擅长文本阅读与综合报告，而Operator擅长视觉交互（如点击、输入、滚动）；在此基础上，ChatGPT Agent补足了Deep Research不擅长多轮对话的短板，能持续协作；又能在保持视觉交互的同时，执行研究类任务。

但它们是如何整合到一起的呢？

在这次圆桌谈话中，ChatGPT Agent团队首次披露了他们的训练方法：将所有工具集成至虚拟机，通过强化学习让模型自主探索最佳工具组合。

具体来说，在训练过程中，模型被赋予所有可用的工具，例如文本浏览器、虚拟浏览器、终端工具和图像生成工具，它们都运行在同一个虚拟机（VM）环境中，并且所有工具都共享状态，类似于一台电脑上不同应用程序访问相同文件系统的方式。

这种设计使ChatGPT Agent能高效处理互联网、文件系统和代码等交互任务。研究团队没有预先指定工具使用规则，而是让模型通过强化学习自行发现最佳策略。

研究团队会创建一系列难度较高的任务，而模型需要调用已有的工具来完成任务。通过奖励机制，如果模型能够高效且正确地完成任务，它就会得到奖励，从而学会如何更好地执行任务。

训练后的模型能够通过实验自主学习如何高效、正确地完成任务，并流畅地在各种工具之间切换，而无需被明确告知何时使用何种工具。

例如，如果任务要求研究餐厅并预订，模型可能会先使用文本浏览器进行研究，然后切换到图形用户界面（GUI）浏览器查看食物图片或预订可用性（这通常需要实际的GUI浏览器来处理JavaScript元素）。

ChatGPT Agent团队认为这种训练方法潜力巨大。ChatGPT Agent目前仅为最简可行产品（Minimum Viable Product，MVP），但已经展现出强大的能力。同样的强化学习算法也适用于Deep Research、Operator，研究团队在短时间内就取得了这些成果，未来还有很大提升空间。

在交互性方面，ChatGPT Agent团队主要关注端到端性能，从用户提示到任务完成。

ChatGPT Agent在与用户交互方面表现良好，部分原因是它在训练中纳入了多样化的任务轨迹，用户可随时干预，提供澄清或更正，它也能根据反馈调整行为。

ChatGPT Agent的开发可追溯到2017年的World of Bits项目，最大的变化是训练规模的提升，无论是预训练还是强化学习，计算量可能增加了数十万倍，使ChatGPT Agent的短时间开发得以实现。