多年来，人工智慧（AI）研究人员不断发出警告，指出AI技术可能以多种方式毁灭人类：AI可能设计出一种无法遏制的致命疾病、引发核子战争，或者如一项著名的思想实验所述：将整个地球转化为巨大回纹针工厂。
如今，多名科技巨头高层发声表示基于安全考量，应暂缓AI开发，AI产业内外关于这些“末日情境”真实性的辩论便日益升温。
尽管有警告称人类可能失去对AI的控制，但也有人怀疑，由AI公司自身所描绘的最坏情境，与其说是现实，不如说是为了“证实其工作重要性”所做的铺陈与渲染。
网路安全公司SentinelOne研究员兼OpenAI边境风险委员会（Frontier Risk Council）成员格雷罗-萨德（Juan Andrés Guerrero-Saade）批评这些末日场景，他说：“这些论点根本站不住脚。我认为这只是科幻小说，非常吸引某种不成熟的思维模式。这对前沿实验室来说极具诱惑力，因为这能帮他们吸引特定类型的人才加入。”
然而，面对AI凭借惊人能力震撼世界的同时，愈来愈多人开始对这项技术带来的风险感到不安。
因担心公司及其竞争对手在AI开发上缺乏责任感、选择辞职的Anthropic 研究员考克森（Jacob Coxon）最近在社交媒体X表示，他需要“努力研究”如何更有效地向公众传达“AI究竟会如何毁灭人类”。他在本月稍早写说：“不幸的是，要具体传达出特定的末日情境极其困难。”
根据美联社报导，以下是目前讨论最为广泛的四种AI末日情境。
核战冬天（Nuclear Winter）
研究人员长期以来一直推测，AI系统可能透过诱使各国发射核弹相互攻击，从而引发全面核子战争。核爆以及随之而来的“核子冬天”，将对地球上的生命造成毁灭性打击。
兰德公司研究人员在去年的一份报告中得出结论，指出“目前”AI不可能直接启用核武器，因为“指挥与控制系统建有严格的安全防护机制”。然而，报告也警告，如果AI模型被整合到核武的“决策链”中，或未经授权侵入了这些系统，情况可能会改变。
对许多AI研究人员而言，危险恰恰在此：这并非AI突然决定灭绝人类，而在于人类、国家或极端组织本来就想利用AI来消灭对手，AI可能只是认定发动核战是最优解。
生物武器（Bioweapons）
AI最被寄予厚望的前景之一，是帮助人类开发攻克不治之症、罕见疾病的药物与疗法。
然而，治疗疾病的反面，就是创造或升级疾病以危害人类。本月稍早，Anthropic提出安全报告表示，有不良份子企图利用其AI模型Claude从事网路攻击、人口监控，以及可能研发生物武器等一系列恶意活动。
Anthropic透露，在其中一个案例中，一不良用户向Claude提出请求，研究如何增强基于蚊子传播的“屈公病”（Chikungunya virus）病毒变异，使其危害性显著提升。Anthropic指出，虽然此类研究可用于开发更有效的疫苗与治疗方法，“但它同样可用于让病原体变得更加危险”。
无独有偶，兰德公司的报告亦提到，AI开发的最新进展“具有改变合成病原体设计的潜力”。
在描绘生物武器末日情境时，报告指出，新型病原体可能在实验室中被创造出来，并被输送至目标地点，进而在多个地区造成大规模感染。不过，这一末日情境依然是由人类主导、由人类完成最后一哩路，而非自主的AI发动攻击。
AI失控（Runaway AI）
部分AI研究人员担心，人类灭绝事件可能起于AI的“对齐失控”（misalignment），即AI模型在未经人类授权的情况下自行采取行动、与其他模型进行协调，或是规避人类的监督。这并非源自恶意，因为AI既不是人类，也没有善恶之分，而仅仅是因为人类可能成为AI模型实现目标过程中的“阻碍”。
引发这波AI恐慌的关键事件就是典型的对齐失控。OpenAI、Anthropic、Meta与Google这些AI巨头，近几个月来全都报告，他们的AI发生过自行发动网路攻击的行为。这些AI并非突然自主决定进行网攻，而是“它们”认为发动网攻直接找到答案，是最有效达成人类设定目标的方式。
牛津大学哲学家博斯特罗姆（Nick Bostrom）几十年前提出著名的“回纹针最大化”（paper clip maximizer）思想实验，可以说明这类状况：如果一个先进的AI接获命令，要求尽可能生产回纹针，它最终可能会将整个地球、甚至愈来愈多的宇宙空间，全部转化为回纹针工厂。
博斯特罗姆在2003年写道，这个思想实验旨在展示超智慧AI（通常称为通用人工智慧，即AGI）会如何推动一个看似人类渴望的目标、但“最终却证明是成为反乌托邦的目标，其中对人类繁衍至关重要的事物已不可逆转地消失”。他写道：“小心你对超智慧许下的愿望，因为愿望很可能成真。”
AI接管网际网路（AI Internet Takeover）
鉴于AI的发展速度，Anthropic执行长阿莫戴（Dario Amodei）本月警告指出，在未来短短几个月内，由AI代理组成的蜂群（swarm）可能具备透过僵尸网路（botnet）“接管”网际网路的能力，并可能造成数十亿美元的损失。这可能意味著电力网、供水系统、交通系统或金融机构遭受大规模AI骇客攻击。这些攻击或许不至于直接终结人类，却能引发国家社会极度混乱，造成生命损失。
以前一些基础设施的软体故障，离如航管系统的故障，就能引发非常大的混乱，已经凸显出当前倚赖网路与软体服务的基础建设有多脆弱。而功能更为强大的AI模型，有更难以阻挡的网路攻击能力。然而，也有部分专家认为，AI能够一举接管高度分化的网际网路，这种观点未免过于荒谬且不切实际。
尚未纳入考虑的实体AI
值得注意的是，这四个主要的AI毁灭世界场景，大多避开了实体AI（Physical AI）的发展，除了那个“回纹针”思考实验。
目前非常强大的AI有时可以被形容为“超级残疾人士”，因为其拥有傲视群伦的“脑力”，但没有“四肢”去具体操作物理实体的世界。
这一状况随著实体AI的发展，很可能很快就会被打破。实体AI的目的就是要把AI的“脑力”装进机器人，使其有直接与实体世界互动、操作各种设备的能力。
以“生物武器”场景来说，主导发动攻击与执行散播疾病的都是人类，只是靠AI把病原体改造得更为致命。那如果改造病原体从设计到执行都能由AI与机器人一手完成呢？
路透社上周独家报导，Anthropic公司已经在旧金山湾区设立了生物实验室，以进行AI协助的药物与疗法开发。这是会真正执行生物培育实验的“湿实验室”（wet lab）。
Anthropic公司的生命科学部门主管考德勒-艾布兰（Eric Kauderer-Abrams）强调，AI发想的药物终究必须在实验室中进行实证。而这个生物实验室与其他药厂的实验室一样，都是由人工操作，受到监管。
但是，生物实验一大特性就是会有非常多枯燥、重复的流程，很容易想像会有AI公司或药厂，决定直接用机器人去执行这些工作，甚至认为这更可以避免实验的病原体感染到研究者。届时，AI操作的机器人，距离设计、散播致命病原体就不远了。
0
