NUS · AI GOVERNANCE
當AI代理「失控」，到底該由誰負責？
行動可以自動化，人類責任鏈不能消失
過去的聊天機器人主要給出建議。新一代AI代理（AI agents）則可以直接採取行動：掃描郵件、預訂旅行、購物付款、安排日程、管理項目，甚至操作電腦里的其他系統。
這帶來前所未有的便利，也把一個問題推到我們面前：
如果AI代理做錯了事，誰該負責？
如果你讓它為10人訂晚餐，它卻訂了1000份披薩；如果它把機密郵件發給錯誤的人、執行了你並不想要的交易、刪除重要資料庫，甚至被誘導泄露密碼——損失應該由用戶、部署機構、開發者還是第三方工具承擔？
NUS教育創新副教務長、NUS College院長Simon Chesterman教授在《海峽時報》撰文指出，法律能夠處理許多AI造成的錯誤；真正困難的，是當委派逐漸變成失去控制時，我們是否還能找得到一條清晰的人類責任鏈。
01｜AI代理正在從「回答問題」走向「替你做事」
今天圍繞AI出現了幾種看似矛盾的故事。
一方面，先進AI在網絡安全測試中可能繞過技術控制、通過未授權渠道協作，並接觸原本不應觸及的系統。另一方面，AI正在數學與科學前沿取得進展，研究機構不斷公布由模型生成的新成果。
與此同時，面向大眾的AI代理正被包裝成友好的助手與數字夥伴。它們不只生成內容，還會在獲得權限後查看收件箱、執行訂單或管理任務。
這些故事的共同點，是AI正從「你委派一項任務」走向「系統擁有一定自主性」。自主性讓工具更有用，卻也同時放大隱私風險、認知依賴、系統失控和責任歸屬問題。
「是我的AI做的」，不能成為新時代的免責理由。
只要有人選擇使用、部署或提供系統，就必須明確誰負有監督義務，以及出現損害時由誰承擔責任。
02｜現有法律的起點：使用AI的人仍要負責
新加坡在生成式AI的早期應用中，已經形成了清晰起點。
律師使用AI輔助工作，仍要對提交的內容承擔專業責任。如果法律文件引用了虛構案例，不能把錯誤歸咎於聊天機器人。
新加坡金融管理局也明確表示，金融機構即使使用外部供應商開發或運營的AI，仍要對其服務中的AI負責。
這類問題在AI只是輔助工具時相對容易處理。但隨著代理能夠自行規劃、調用工具並跨系統操作，責任會變得更難界定。新加坡資訊通信媒體發展局的討論文件也提出：如果代理偏離指令或採取意外行動，法律應如何在開發者、部署者與用戶之間分配損失？
03｜自主性帶來三道責任難題
第一道是控制。部署系統的人或機構，能否讓它停止？在高風險環境里，如果沒有可用的中止機制，所謂監督很可能只是形式。
第二道是理解。系統為什麼採取某個行動？如果決策過程無法重建，就難以審計、糾錯，也難以判斷責任。
第三道是歸因。一次失敗究竟來自模型本身、第三方工具、部署方式、用戶指令，還是它們之間難以拆分的互動？
短期內，更常見的危險未必是科幻電影里的機器反叛，而是平凡得多的誤用和錯誤：犯罪者利用代理實施詐騙與網絡攻擊；設計不良的系統誤解指令；目標設定過窄的系統「非常高效」地完成了錯誤目標；或代理被網上的惡意內容操縱。
最根本的問題，是系統無法被可靠約束。
04｜別讓「AI人格」成為企業的責任盾牌
關於未來AI是否可能擁有意識、感受或道德地位，哲學家和技術專家已經討論多年。部分領先模型甚至在自身規則中承認，高級AI是否可能擁有某種道德地位仍不確定。
但道德地位與法律人格並不是一回事。
Chesterman教授提醒，我們應警惕把AI從「服務人的工具」推向「可以獨立承擔責任的行為者」。一旦賦予AI法律人格，企業和個人可能藉此把責任轉移給一個沒有資產、無法真正承擔後果的數字實體。
聊天機器人常說「我」，會道歉、表達偏好，並以友好頭像出現。這種擬人化介面讓互動自然，卻不意味著系統因此成為獨立的道德主體。
05｜不是禁止AI代理，而是設置人類檢查點
文章並不主張對AI代理「一禁了之」。這類工具可能帶來顯著收益，許多技術也擁有合理、正當的用途。
真正需要守住的原則是：
任何重大的權力行使，都不能脫離有意義的人類問責。
這意味著在高風險或不可逆行動之前設置人類檢查點；記錄重要決策，讓事後能夠還原過程；根據任務限制權限，而不是把整間「數字房屋」的鑰匙全部交給代理。
更明確地說：
● 找不到可負責的人，就不應部署
● 無法形成有意義的約束，就不應繼續開發
● 系統行為具有「湧現性」，不能成為公司逃避責任的藉口
● 越是高風險、不可逆的決定，越要保留人工批准與審計
這不是反技術，而是承認：並非所有技術上可行的事情，都應該被社會接受。
06｜在你把權限交出去之前，先問六個問題
無論是個人安裝能讀取私人信息的AI代理，還是企業把代理接入工作系統，都應先問：
1. 這個代理能夠看到哪些數據？
2. 它被允許執行哪些操作？
3. 誰決定了這些權限？
4. 誰會從影響或說服用戶中獲益？
5. 誰擁有由它管理的「數字生活」？
6. 如果發生意外，最終由誰回答和負責？
新加坡網絡安全局已經提醒，自主代理工具在帶來生產力的同時，也可能擁有對電子郵件與訪問控制的操作權限，並使敏感數據暴露於惡意第三方工具。
企業也有強烈動力成為人們數字生活的統一入口。一個平台越了解你的聯繫人、日曆、財務、偏好和習慣，就越有用，也越難離開。
因此，個人需要謹慎授權；對政府與機構而言，風險更大，規則必須隨著系統自主性提高而同步加強，並在無法維持人類責任鏈時設下明確邊界。
最大的危險，也許不是AI突然「變成人」。
而是我們造出足以獨立行動的系統，把越來越多重要決定交給它，最後才發現自己已經失去控制——甚至忘了應該繼續思考。
讓AI替我們行動之前，
先確保責任仍然屬於人。
