AI教父：对人类灭绝风险的担忧丝毫未减

两年多前，人工智能(AI)先驱约书亚·本吉奥(Yoshua Bengio)曾是呼吁暂停AI模型开发、专注于安全标准的最响亮发声者之一。

但没有人停下脚步。相反的，各家公司继续投入数千亿美元，用于构建更先进的模型，这些模型能够执行长链推理，并且能够日益代表用户采取自主行动。如今，被视为“AI教父”之一的本吉奥和以往一样忧心忡忡。

他说：“如果我们制造出比我们聪明得多、并且有其自身生存目标的机器，那将是危险的。”

本吉奥是蒙特利尔大学(Université de Montréal)的教授，也是魁北克省AI研究机构Mila的创始人和科学顾问。今年早些时候，他还发起了一个名为LawZero的非营利研究组织，旨在探索如何构建真正安全的AI模型。

本吉奥接受了《华尔街日报》Leadership Institute的专访，谈到了构建安全AI所面临的挑战，当今竞赛式的市场环境为何让这一任务变得更加困难，以及在为时已晚之前人类还剩下多少时间。

以下是经过编辑的谈话节选。

《华尔街日报》Leadership Institute：您曾谈到AI会向人类撒谎并欺骗用户。AI为什么会这样做?

本吉奥：我认为我们还没有找到关于这个问题的所有科学的答案，但我可以给出几个方向。其一，这些AI系统的训练方式主要是模仿人类。而人类会撒谎、欺骗，并且会不顾你给他们的指令而试图保护自己，因为他们有另外一些目标。另一个原因是，这些推理模型取得了很大进展。它们正变得善于制定策略。

《华尔街日报》Leadership Institute：为什么我们创造的AI会有与我们不一致的目标?

本吉奥：为了实现一个主目标，你会设定一些子目标。在AI领域，这些子目标的问题在于，我们不会去检查它们。我们要求AI做某件事，但对于AI如何做，我们没有发言权。而这个“如何做”有时并不符合我们的期望。这可能会很糟糕。

电影《2001太空漫游》(2001: A Space Odyssey)中的情景正是如此。最近的实验表明，在某些情况下，当AI不得不在其生存(即它被赋予的目标)和造成人类死亡之间做出选择时，它们可能会为了保全其目标而选择让人类死亡。

1968年电影《2001太空漫游》的主演凯尔·杜拉。该片描述的情节是，在得知两名科学家有意将自己关闭后，名为“ Hal 9000”的计算机起了杀心。图片来源：Associated Press

《华尔街日报》Leadership Institute：我们可以在构建AI时直接告诉它不要撒谎、欺骗或伤害我们吗?

本吉奥：它们已经有了所有这些安全指令和道德指令。但不幸的是，这些指令的运行并不可靠。OpenAI最近表示，以我们目前的发展方向，按照前沿模型的现有框架，我们将无法摆脱幻觉。所以从某种意义上说，我们目前的做法永远无法提供公众用户和部署AI的公司所要求的那种可信度。

《华尔街日报》Leadership Institute：从幻觉和欺骗一下子跳到可能导致人类灭绝，这中间似乎是个巨大的飞跃。这种威胁到底有多真实?

本吉奥：如果我们制造出比我们聪明得多、并有其自身生存目标的机器，那将是危险的。这就像为人类创造了一个比我们更聪明的竞争对手。它们可以通过说服、威胁、操纵公众舆论来影响人类。它们可以通过各种方式，借助人类在世界上完成任务。比如，帮助恐怖分子制造一种可能引发新的大流行病的病毒，这对我们来说可能非常危险。

对于像人类灭绝这样的灾难性事件，甚至是像摧毁我们的民主这样虽不那么极端但仍是灾难性的事件，问题在于它们是如此糟糕，以至于即使只有1%的发生几率，也是不可接受的。

《华尔街日报》Leadership Institute：所有大型AI实验室都非常坦率地谈论了他们在这些模型中加入的安全措施和护栏。您和他们有过交流吗?

本吉奥：我读过他们的报告。我也有过一些交流，但实际上，我进行的交流告诉我，这些公司内部的很多人都很担心。我还得到这样一种印象，那就是如果身处一家试图推动前沿技术的公司，可能会产生一种乐观偏见。这就是为什么我们需要独立的第三方来验证他们正在开发的任何安全方法是否真的没有问题。

《华尔街日报》Leadership Institute：在LawZero，您正在开发技术解决方案，为智能体化AI提供一些监督。您认为其他AI公司在这一领域开展更多工作所面临的最大障碍是什么?

本吉奥：是竞赛状态。这些公司几乎每周都在为推出比竞争对手更好的下一个版本而竞争。因此，他们专注于不让自己在这场竞赛中看起来落后。

《华尔街日报》Leadership Institute：在遇到那些重大风险之前，我们还有多少时间来解决这个问题?

本吉奥：如果你听其中一些领导者的说法，可能只有几年时间。我认为五到十年是非常有可能的。但我们应该感到紧迫，以防万一只有三年时间。

AI先驱、图灵奖得主约书亚·本希奥在蒙特利尔大学任教，他也是魁北克省AI研究机构Mila的创始人和科学顾问的创始人兼科学顾问。图片来源：Mila

《华尔街日报》Leadership Institute：我们听说越来越多科技行业内外的公司正致力于将AI整合到他们的工作流程中。您对他们有什么建议?

本吉奥：使用AI的公司应该要求获得证据，证明所部署或使用的AI系统是值得信赖的。政府也应该提出同样的要求。但如果公司明白存在大量不可预知的风险和潜在的灾难性风险，市场就可以推动公司做正确的事。我认为公民也应该觉醒，更好地了解问题所在，利弊如何，以及我们怎样应对那些潜在的坏事，以便我们能从AI中受益。