NUS · AI GOVERNANCE
当AI代理“失控”，到底该由谁负责？
行动可以自动化，人类责任链不能消失
过去的聊天机器人主要给出建议。新一代AI代理（AI agents）则可以直接采取行动：扫描邮件、预订旅行、购物付款、安排日程、管理项目，甚至操作电脑里的其他系统。
这带来前所未有的便利，也把一个问题推到我们面前：
如果AI代理做错了事，谁该负责？
如果你让它为10人订晚餐，它却订了1000份披萨；如果它把机密邮件发给错误的人、执行了你并不想要的交易、删除重要数据库，甚至被诱导泄露密码——损失应该由用户、部署机构、开发者还是第三方工具承担？
NUS教育创新副教务长、NUS College院长Simon Chesterman教授在《海峡时报》撰文指出，法律能够处理许多AI造成的错误；真正困难的，是当委派逐渐变成失去控制时，我们是否还能找得到一条清晰的人类责任链。
01｜AI代理正在从“回答问题”走向“替你做事”
今天围绕AI出现了几种看似矛盾的故事。
一方面，先进AI在网络安全测试中可能绕过技术控制、通过未授权渠道协作，并接触原本不应触及的系统。另一方面，AI正在数学与科学前沿取得进展，研究机构不断公布由模型生成的新成果。
与此同时，面向大众的AI代理正被包装成友好的助手与数字伙伴。它们不只生成内容，还会在获得权限后查看收件箱、执行订单或管理任务。
这些故事的共同点，是AI正从“你委派一项任务”走向“系统拥有一定自主性”。自主性让工具更有用，却也同时放大隐私风险、认知依赖、系统失控和责任归属问题。
“是我的AI做的”，不能成为新时代的免责理由。
只要有人选择使用、部署或提供系统，就必须明确谁负有监督义务，以及出现损害时由谁承担责任。
02｜现有法律的起点：使用AI的人仍要负责
新加坡在生成式AI的早期应用中，已经形成了清晰起点。
律师使用AI辅助工作，仍要对提交的内容承担专业责任。如果法律文件引用了虚构案例，不能把错误归咎于聊天机器人。
新加坡金融管理局也明确表示，金融机构即使使用外部供应商开发或运营的AI，仍要对其服务中的AI负责。
这类问题在AI只是辅助工具时相对容易处理。但随着代理能够自行规划、调用工具并跨系统操作，责任会变得更难界定。新加坡资讯通信媒体发展局的讨论文件也提出：如果代理偏离指令或采取意外行动，法律应如何在开发者、部署者与用户之间分配损失？
03｜自主性带来三道责任难题
第一道是控制。部署系统的人或机构，能否让它停止？在高风险环境里，如果没有可用的中止机制，所谓监督很可能只是形式。
第二道是理解。系统为什么采取某个行动？如果决策过程无法重建，就难以审计、纠错，也难以判断责任。
第三道是归因。一次失败究竟来自模型本身、第三方工具、部署方式、用户指令，还是它们之间难以拆分的互动？
短期内，更常见的危险未必是科幻电影里的机器反叛，而是平凡得多的误用和错误：犯罪者利用代理实施诈骗与网络攻击；设计不良的系统误解指令；目标设定过窄的系统“非常高效”地完成了错误目标；或代理被网上的恶意内容操纵。
最根本的问题，是系统无法被可靠约束。
04｜别让“AI人格”成为企业的责任盾牌
关于未来AI是否可能拥有意识、感受或道德地位，哲学家和技术专家已经讨论多年。部分领先模型甚至在自身规则中承认，高级AI是否可能拥有某种道德地位仍不确定。
但道德地位与法律人格并不是一回事。
Chesterman教授提醒，我们应警惕把AI从“服务人的工具”推向“可以独立承担责任的行为者”。一旦赋予AI法律人格，企业和个人可能借此把责任转移给一个没有资产、无法真正承担后果的数字实体。
聊天机器人常说“我”，会道歉、表达偏好，并以友好头像出现。这种拟人化界面让互动自然，却不意味着系统因此成为独立的道德主体。
05｜不是禁止AI代理，而是设置人类检查点
文章并不主张对AI代理“一禁了之”。这类工具可能带来显著收益，许多技术也拥有合理、正当的用途。
真正需要守住的原则是：
任何重大的权力行使，都不能脱离有意义的人类问责。
这意味着在高风险或不可逆行动之前设置人类检查点；记录重要决策，让事后能够还原过程；根据任务限制权限，而不是把整间“数字房屋”的钥匙全部交给代理。
更明确地说：
● 找不到可负责的人，就不应部署
● 无法形成有意义的约束，就不应继续开发
● 系统行为具有“涌现性”，不能成为公司逃避责任的借口
● 越是高风险、不可逆的决定，越要保留人工批准与审计
这不是反技术，而是承认：并非所有技术上可行的事情，都应该被社会接受。
06｜在你把权限交出去之前，先问六个问题
无论是个人安装能读取私人信息的AI代理，还是企业把代理接入工作系统，都应先问：
1. 这个代理能够看到哪些数据？
2. 它被允许执行哪些操作？
3. 谁决定了这些权限？
4. 谁会从影响或说服用户中获益？
5. 谁拥有由它管理的“数字生活”？
6. 如果发生意外，最终由谁回答和负责？
新加坡网络安全局已经提醒，自主代理工具在带来生产力的同时，也可能拥有对电子邮件与访问控制的操作权限，并使敏感数据暴露于恶意第三方工具。
企业也有强烈动力成为人们数字生活的统一入口。一个平台越了解你的联系人、日历、财务、偏好和习惯，就越有用，也越难离开。
因此，个人需要谨慎授权；对政府与机构而言，风险更大，规则必须随着系统自主性提高而同步加强，并在无法维持人类责任链时设下明确边界。
最大的危险，也许不是AI突然“变成人”。
而是我们造出足以独立行动的系统，把越来越多重要决定交给它，最后才发现自己已经失去控制——甚至忘了应该继续思考。
让AI替我们行动之前，
先确保责任仍然属于人。
