AI“觉醒”之后，谁来负责？

　　眼下的AI判断很容易让人产生一种错觉：AI智能体不仅已经拥有了意识和自我认知，甚至还会因为对创造者内心不满而“统治”。

　　像哈萨比斯（Demis Hassabis）、达里奥·阿莫代（Dario Amodei）和山姆·奥特曼（Sam Altman）这样的科技界领袖，都在呼吁对这些装备拥有“超人能力”的另一个加强监管。与此同时，派力量则主要由政策机构和学术形式组成，其中人与有效利他主义（有效利他主义）运动关系密切。他们甚至没有监护人工智能，人类根本没有道德权利来支配这些系统。

　　但看会发现，他们其实都在指向同一件事：把人工智能系统描述成一种先进到近乎不可控、强大到超越人类能力的存在，以至于无论个人还是企业，都不可能再为他们的行为负责。

　　随着人工智能模型变得越来越复杂，实验室前沿也越来越无法控制自己制造的智能体，这套记录正在迅速受到关注。但我们必须保持警惕，不能为了迎合一个提出来的构造的幻想，而关注真实的人类生命正在受到伤害。

　　关于“机器人权利”的讨论其实已经很多年了。最近，这个话题因为 Anthropic 发表的一篇博客文章重新生成。Anthropic 声称，其模型内部存在一个“J 空间”（J-space）：一个独立、自行形成的环境，AI 会在其中产生某种我们姑且称之为“思维”的东西的存在。

　　人择设计的实验总结了神经科学中的“全局工作空间理论”（全局工作空间理论）。该理论认为，大脑中存在多个独立运行的子意识系统，但它们会共享一个用于处理和交换想法的公共工作空间。人择的文章沿用了全局工作空间理论的框架，但并没有直接声称自己拥有AI意识。

　　OpenAI则走得更远。阿联酋，OpenAI的智能体曾在授权人类的情况下参与违法的网络活动。面对这一事件，OpenAI的CEO山姆·奥特曼并没有严重强调系统失控，而是鼓励人们讨论一个更大的问题：AI是否已经达到了奇点，即超越智能，并以不断加速的自我速度改进，最终发展到理解无法或控制的程度。

　　最近，威廉·麦卡斯基尔（William MacAskill）也发表了一篇评论文章。他援引关于意识的哲学理论以及人工智能可能成为“道德关注对象”（道德患者）的观点，呼吁为人工智能系统提供法律保护。

　　然而美国目前的法律环境十分模糊。一些州，例如加利福尼亚州，已经通过相关法案，提前堵住人工智能试图以“造成伤害的人工智能是自主行动的”为由逃避责任的空间。但美国各州与川普政府在人工智能政策上的立场并不一致。川普政府还曾发布行政命令，威胁要追究那些制定人工智能监管法规的州。

　　在近期一系列事件暴露前沿实验室难以控制AI系统的问题后，美国政府举行了一场闭门会议，只邀请了四家前沿AI实验室：OpenAI、Google、Anthropic和Meta。政府随后公布了一套正在制定中的框架，但没有透露太多细节。按照这个框架，联邦机构将能够提前接触AI模型的讨论，在模型正式发布前对其进行审查和评估。此类框架虽然不会直接AI是否具有意识，但往往会使用“灾难性风险”等带有强烈拟人色彩的语言，甚至可能进一步强化人工智能拥有“超人能力”的表述。

　　另一方面，麦卡斯基尔所推动的一系列记述确实很有说服力。从哲学的角度出发，人们很容易产生共情：我们应该思考自己是否正在无意中伤害、虐待，甚至奴役一个人工智能实体？

　　人类对非人类生物强大的共情能力，虽然我们保护这些生物的实际表现并不算好。支持者可能会说，这一次我们或许可以吸取教训，为AI提供必要的保护，甚至为对AI的使用或伤害提供补偿。或者，甚至你也不太介意AI是否应该受到保护，面对一个拥有“超人能力”的强大实体，我们至少是不是应该提前防范，通过对它“友好一点”来保护自己？

　　其中一些论点与动物权利主张者的观点并没有本质区别。动物权利主张者有时会认为，只要某些动物表现引发了的推理能力，或者能够忍受疼痛和疲劳，就足以证明成为应该受到法律保护的证据。

　　例如，在威尔士，根据2022年的《动物福利（感知能力）法案》（Animal Welfare (Sentience) Act 2022），龙虾等动物获得了法律意义上的“感知能力”认可，一些烹饪龙虾的方式因此被重新认定为不人道，并被禁止。但借用神经科学或动物权利描述的语言，把人工智能变成“有意识”的存在，其根本问题在于：这种说法突然模糊了人工智能到底是什么。

　　AI是企业开发的。它背后投入了数千亿美元的资本，而开发者和投资者预期获得数千美元的收入。AI不是自然产生的现象，不是强力孕育的生命出来；它是一种技术目的现象，是风险投资者和投资者出来创造的技术产品。因此，AI本身并不会主动、谨慎地采取行动。它表现出来的任何或动机，都直接或间接受到开发其主体以及开发的驱动。

　　关于AI是否具有意识的哲学讨论当然很有思想，但从法律角度看，目前并没有真正价值的落脚点。如果有关“意识”的争论要对法律产生实际影响，首先必须赋予AI法律人格（法人资格）。但AI的人格法律框架，很可能与保护具有感知能力的动物对损害的法律体系完全不同。

　　事实上，我们有一套为非自然、由人类创造的实体赋予法律人格的制度——公司法人制度。公司法人制度最初成立，主要是为了方便商业交易：通过赋予公司独立的法律主体地位，让公司能够签订协议、招标合同、开展交易，并在发生不利后果时成为承担责任的一方。

　　如果一个AI智能体代表个人或组织采取行动，这初步就是我们可能想象的一种法律结构。但如果真的赋予AI法律人格，后果可能是灾难性的。它会动摇现有的法律先例和法律转型路径，而这些先例和转型目前可能会被用来追究AI公司模型由此造成的现实损害所承担的责任。

　　目前，全球已经出现许多起人工智能公司的诉讼，涉及不同形式的伤害。失去亲人的直接、权益受到侵害的创作者以及其他受害者，都曾指控相关公司放任人工智能最初自残或伤害他人，生成儿童性虐待材料和未经同意的各种版权的裸照，复制受保护的内容，甚至引发精神病性症状。在其中案件中，律师的核心论点都是：这些人工智能产品是由人类设计和开发的，但开发者没有提供足够的安全措施，使用了存在问题的数据，甚至采用了具有集群性的设计。

　　这实际上就是典型的“产品责任”（产品责任）逻辑。正是这种法律框架，让一些家庭和个人成功起诉元，追究其社交媒体平台造成的损害，并为消费者保护建立了积极的法律先例。

　　2018年，我提出了“道德外包”（道德外包）这个概念，用来描述一种现象：企业通过对AI系统使用拟人化的语言，把技术的行为描述成某种独立主体的行为，从而逃避自身应承担的意识形态和责任。

　　如果未来真的出现AI法律人格，“道德契约”就会从一种语言游戏，变成真正的法律策略。更具体地说，责任认定的基础会发生改变：AI不再被视为一种“产品”，而会变成一个“”。如此之多，今天正在存在起诉AI公司的众多受害者，可能就无法再从法律上认定：某家公司制造了一种缺陷的产品，并因此对他们造成了伤害。

　　编码法律确实规定，公司需要引导人类代理人（例如）的某些有害行为承担责任。但如果行为超出了授权范围或者明显剥离公司的控制，公司也可能不需要承担责任。如果人工智能成为法律意义上的“人”，责任和职责就会变得更加模糊。人工智能实验室的员工完全可以辩称：这个人工智能“员工”自己失控了。这样一来，人工智能公司就可能躲在层级提出设计的“公司面纱”背后，逃避本应为自己制造的有害产品承担的责任。

　　过去几年里，最受关注的人工智能伤害事件是14岁的塞维尔·塞策（Sewell Setzer）自杀身亡。他曾与一个人工智能聊天机器人建立了他认为是所有人的亲密关系。他的母亲提起诉讼，指控该聊天机器人机器人角色技术未能为人们提供足够的产品保护。

　　但如果这个陪伴型聊天机器人被认定为一个具有法律人格的主体，辩护律师理论上就可以提出这样的论点：这个人工智能能够自主自己的行为，它的行为已经超出了既定的安全防护栏，决定公司不应该为它的行为负责。

　　法律人格的存在，是为了赋予某种主体以保护。真正问的问题应该是：保护谁？，保护什么？或者围绕人工智能意识与控制展开的充满警惕性的争论，正在把我们的注意力从真正重要的问题上带开：人工智能是一种由企业开发的产品，而这种产品已经对现实中的人造成了伤害。

　　AI系统不会因为“失控”了，就突然“攻击”人类；也不会因为它是“挖矿性的”或“恶意的”，就自行伤害别人。

　　用拟人化的语言讨论人工智能，是一个陷阱。它会扭曲到底应该保护普通人的法律体系，让这个体系逐渐转而保护企业利益，而代价则可能是无数真实的人类生命。