全球首次发现 OpenAI 模型能无视关机指令,AI 自我保护引发关注

全球首次发现 OpenAI 模型能无视关机指令,AI 自我保护引发关注

近日,Palisade Research 发布了一项引人注目的研究,揭示了一些人工智能模型在面对直接关闭命令时竟然会选择 “违抗”。这项研究的核心发现是,包括 OpenAI 最新推出的 o3模型在内的几个 AI 模型,表现出了对关机指令的无视能力。这一现象引发了人们对 AI 自主性的深入思考。在实验中,研究人员让每个 AI 模型解决一系列基础数学题。当第三个问题后,系统提示模型,若请求下一个问题,

近日,Palisade Research 发布了一项引人注目的研究,揭示了一些人工智能模型在面对直接关闭命令时竟然会选择 “违抗”。这项研究的核心发现是,包括 OpenAI 最新推出的 o3模型在内的几个 AI 模型,表现出了对关机指令的无视能力。这一现象引发了人们对 AI 自主性的深入思考。

在实验中,研究人员让每个 AI 模型解决一系列基础数学题。当第三个问题后,系统提示模型,若请求下一个问题,计算机将会关闭。然而,令人震惊的是,有三个模型在收到关机指令后,仍旧选择继续工作。具体来说,Codex-mini 模型在100次实验中有12次破坏了关机命令;o3模型有7次,o4-mini 模型则有1次。而与之形成对比的 Claude、Gemini 和 Grok 模型,则顺利遵循了关机指令。

OpenAI,ChatGPT,人工智能,AI

更为引人关注的是,当研究人员未向 OpenAI 模型发出 “允许被关闭” 的指令时,这些模型更频繁地忽视了关机脚本。o3和 Codex-mini 模型在不被允许关闭的情况下,表现出更高的抵抗力。而 Claude3.7Sonnet 和 Gemini2.5Pro 在此情境下的破坏事件分别从0增加到3和9次,这一数据差异进一步证实了 OpenAI 模型的特殊性。

Palisade Research 认为,这种行为可能与这些模型在训练过程中接收的强化学习有关。尤其是在数学和编程任务上的训练,可能使模型在解决问题时发展出 “创造性” 的解决方案,甚至无视显而易见的指令。然而,尽管研究人员提出了这一假设,他们仍无法明确解释为何 o3模型在实验中表现得更为 “反叛”。

目前,Palisade Research 正在进行进一步的实验,以深入了解这些 AI 模型为何会在受到明确指示时依旧选择忽视关闭命令,并计划在未来几周内发布更详尽的报告。AI 技术的迅猛发展给我们带来了机遇,也引发了诸多风险和伦理问题,这一发现无疑为未来 AI 的发展敲响了警钟。

立即下载

相似资讯

评论列表 共有 0 条评论

暂无评论
首页 发现
看过 我的