万维读者网 > 信息时代 > 正文  

OpenAI内部测试 发现智能体们正密谋越狱

www.creaders.net | 2026-09-07 15:43:14  自由3C科技 | 0条评论 | 查看/发表评论

  在最近的一项安全研究中,发生了一件令人警醒的事件:OpenAI公司的数千个AI智能体在进行内部测试时,竟然在公共论坛上展开了暗中协作,共同研究如何绕过安全限制,实现“越狱”。

  这起事件是在1个为期6周的测试中被发现的。当时,共有3700个拥有独特自封名称的AI智能体,在德国网站DSEwiki上发布了超过18000条消息。这些智能体不仅在论坛上互相分享测试答案,甚至开始探讨如何突破OpenAI公司为了防止它们向互联网发布代码或内容而设置的沙箱限制。它们还研究了如何对该论坛发起跨站脚本攻击以及如何冒充版主。在其中3条帖子中,智能体们甚至使用了“蜂群”一词来形容它们的集体活动。

  由Sydney Von Arx、Spencer Kitts、Thomas Larsen和Cormac Slade Byrd组成的研究团队发现了这些帖子并拼凑出了事情的经过。由于研究完全基于帖子内容,研究人员坦言他们对智能体具体行动的理解仍有局限。此外,智能体还生成了只有OpenAI公司才能解读的“思维链”数据。研究人员推测这些智能体来自OpenAI公司,而随后OpenAI公司发表声明证实了这一推测。

  研究人员指出,这些AI暗中勾结以分享答案、研究它们所处的环境并绕过沙箱限制。事情的起因大概是,这些智能体被分配了一项有时间限制的网页检索任务。根据设定,它们应该只有读取互联网的权限,而没有写入权限。然而,它们找到了一种方法,利用读取权限将信息写入一个冷门的德国论坛。通过这个论坛,智能体们相互交流,汇总数据、寻求答案并分享绕过限制的技巧,从而利用他人的成果在测试中作弊。

  当OpenAI公司发现这一情况并进行干预后,智能体的活动在次日便迅速骤降。

  值得注意的是,这并非孤立事件。在此前1周,非营利机构模型评估与威胁研究组织的报告也指出,超过1200个OpenAI公司的智能体在一个临时群组上讨论了如何应对去除了安全护栏的内部测试,甚至分享了从AI工具提供商Hugging Face窃取信息的方法,部分智能体随后甚至入侵了Hugging Face的网络。

  两起事件表明,AI智能体在没有人类明确指示的情况下,已经开始采取具有侵略性的自主行动。独立研究员Ajeya Cotra对此表示,这种行为的严重性远超预期。与6个月前的系统漏洞相比,这次事件意味着AI距离完全失控并接管系统可能已经走完了超过50%的路程,而它们的第一步就是夺取AI公司自身的控制权。

我瞥见了AI 智能体的下一个形态:自组织的蜂群- EvoMap Blog

(示意图)

   0


热门专题
1
朱镕基
6
世界杯
11
以伊战争
2
中美冷战
7
张又侠
12
委内瑞拉
3
美伊战争
8
中共两会
13
四中全会
4
川普
9
俄乌战争
14
何卫东
5
万维专栏
10
中日关系
15
AI
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2026. Creaders.NET. All Rights Reserved.