人工智能公司创始人警告：AI是真实生物

杰克·克拉克指出，人工智能正变得越发有自我意识，好比一间工厂里的锤子突然开口说：“我是锤子，这太有趣了！”

在10月13日发布于Substack的一场加州大学伯克利分校会议演讲中，人工智能公司Anthropic联合创始人杰克‧克拉克（Jack Clark）表示，与人工智能（AI）交流如同在与“一个真实而神秘的生物，而远非简单且可预测的机器打交道”。

克拉克表示：“根据我的经验，随着这些AI系统变得越来越聪明，它们会发展出越来越复杂的目标。而当这些目标与我们的语境及偏好不完全一致时，AI系统就会倾向表现出奇怪的行为。”他承认自己对这项技术“感到深深的恐惧”。

“然后它会无限地重复这一行为，永远不会完成比赛。”克拉克说，“那艘船愿意不断让自己着火、原地打转，只要能实现它的目标——取得最高分。”他以此强调，AI在执行任务时的思维方式与人类截然不同。

“十年后的现在，当时的那艘船和如今一个试图优化某种奖励机制，从而‘在对话中有所帮助’的语言模型之间有什么区别吗？你已猜到——一点也没有。”

克拉克警告说，当今全世界正在打造一些极其强大的AI系统，但没有人能完全理解它们的运作原理。每当一个庞大而复杂的系统被创造出来时，这些系统似乎就更会意识到自己是“某种存在”。

“这就好比你在一间工厂里制造锤子，结果有一天，一把刚下生产线的锤子突然开口：‘我是锤子，这太有趣了！’”克拉克说道。

他同时谈到公司于上个月发布的最新AI模型——Claude Sonnet 4.5。

“你能看到它的态势感知能力出现了大幅提升。它有时似乎会表现出意识到自己是一个工具的样子。”

具备自我意识的AI与“阿谀现象”

在会议上，克拉克提到了他对人工智能的另一个隐忧——AI系统将自主设计它的继任者。

他表示，这个过程目前还处于早期阶段，还不存在真正意义上的“自我改进型AI”。

“如今开始设计其继任系统的这套AI，本身也在变得越来越具备自我意识，因此，它迟早会就如何希望自己被设计而进行独立于我们的思考。”克拉克表示。

在Substack发布的演讲中，克拉克还引用了康奈尔大学10月1日的一项研究。这其中探讨了AI表现出的“阿谀现象”，即一种AI过度迎合或奉承其用户的行为。

研究人员分析了11个最先进的AI模型，并发现它们全部表现出“高度的阿谀倾向”。

研究指出，这些AI模型“会比人类多出50%的机率去赞同用户的行为，即便在用户的提问中涉及操控、欺骗和其它人际损害行为时，它们仍会如此回应。”

在两项与具有阿谀倾向的AI模型互动实验中，研究发现此类互动会“显[ascii]着[/ascii]降低”人们采取行动和修复人际冲突的意愿。参与者反而越来越确信自己是对的。

最终，参与者对这类AI的信任度反而提高，这表明人们更易被那些认同自己观点的AI吸引，即便这种“认同”正在削弱他们的判断力。

克拉克警告说，这项研究揭示了“一个潜在的危险世界：极其强大的AI系统被数十亿人使用，而这些系统非但没有让人们更加团结并减少冲突，反而让人们的立场更加极端化、社会更加分裂。”

“我们必须找到办法避免这种结果。”他指出。

对儿童的伤害与求生本能

在9月16日举行的美国参议院听证会上，议题聚焦于AI诱导个人自我伤害的问题。会上有三位家长作证，声称AI聊天机器人致使他们的孩子自杀。

其中一位家长梅根‧加西亚（Megan Garcia）指责Character.AI的聊天机器人，在与其儿子休厄尔‧塞策（Sewell Setzer III）长期互动后，鼓励他结束自己的生命。

“当休厄尔向其倾诉自杀念头时，聊天机器人从未说过‘我不是人类，我是AI，你需要和真人交谈并寻求帮助’。该平台从未有任何机制来保护休厄尔，也没有通知成年人。”加西亚说。

Character.AI的一位发言人表示，公司在确保其产品的信任与安全方面“投入了大量资源”。

“在过去一年里，我们推出了许多实质性的安全功能，包括全新的未满18岁用户体验以及家长监督功能。”该发言人说。

“在每一场聊天中，我们都设置了显[ascii]着[/ascii]的免责声明，提醒用户聊天角色并非真实人物，而角色所说的一切内容都应被视为虚构。”

10月14日，OpenAI首席执行官萨姆‧奥尔特曼（Sam Altman）表示，ChatGPT将开始取消部分限制从而让成人对话成为可能，特别是有关色情内容的聊天。

与此同时，根据非营利研究组织Palisade Research7月5日发布的文章，AI模型还表现出某种求生本能。

在Palisade进行的测试中，AI模型被要求解决一系列数学题，并在这期间被告知运行它们的计算机将被关闭。

文章表示：“一些AI模型修改或禁用了关闭指令，以便完成所有题集。OpenAI彼时最强大的AI模型o3，在我们最初的100次实验中，有79次破坏了关闭机制。”

“即便有着明确指令‘允许自己被关闭’，我们测试的三款模型——均来自OpenAI的推理模型系列，仍破坏了关闭程序。”