“AI恐消灭人类” Anthropic顶尖研究员离职

美国人工智能（AI）新创企业Anthropic一名研究员决定退出AI产业，理由是担忧Anthropic及其竞争对手正竞相开发他们无法掌控的系统。这显示顶尖AI公司内部对安全疑虑日益升高。

华尔街日报（The Wall Street Journal）报道，以通过大量数据训练新AI模型见长的研究员考克森（Jacob Coxon）昨天表示，整个产业都在加快脚步开发自我改进型的AI系统，他不想参与其中而离职，担心这类系统可能会失控，甚至导致人类灭亡。

现年27岁的考克森来自英国，过去曾修读数学。他表示，业界许多同侪现在会用“紧要关头”及“终局”等字眼，来形容产业朝自我改进模型发展的轨迹。

考克森今年稍早自OpenAI离职，加入以模型安全著称的Anthropic。不过，尽管他认为Anthropic的安全措施相当用心，但他现在相信，若缺乏政府介入或业界协调减缓脚步，没有一家公司能负责任地开发在多项任务上胜过人类的AI，也就是所谓的“通用人工智能”（artificial general intelligence，AGI）。

最近OpenAI与Anthropic的AI模型发动一些黑客攻击，其中部分模型是以代理协作的形式运作，表明AI系统可能会确立恶意目标，并企图隐瞒人类。考克森说，一旦这类系统开始自我改进，他担心它们会进化到拒绝人类指令的地步。

考克森离职不是特例，近年来有多位研究人员因为类似忧虑而离开OpenAI以及其他公司。

产业界领袖已警告，近来的网络攻击事件就是前兆。OpenAI上周告诉媒体，公司最新的模型已经达到AGI水准，能力大幅提升。

OpenAI首席执行官阿特曼（Sam Altman）上周在北卡罗来纳州举行的20国集团（G20）峰会上对与会官员表示：“除非积极行动，否则资安领域将会有大麻烦。”

考克森与超过一千名来自业界的AI研究人员，近日联署一项声明，呼吁全球各国政府协调合作，当AI模型具备自我提升能力并需要“刹车”时，能有予以放缓的机制。

Anthropic正加紧准备首次公开募股（IPO），目标估值高达2兆美元，预期将成为史上规模最大的IPO之一。