新加坡數字發展與信息部長 Josephine Teo 在周五（10月2日）表示，雖然前沿人工智慧（AI）公司採取的安全防護措施至關重要，但面對能力日益增強的系統，這些措施已不足以應對潛在風險。
Teo 部長在 Facebook 的發文中指出，惡意用戶可能會利用功能日益強大的 AI 來造成危害，例如尋找計算機系統的漏洞、編寫惡意代碼、自動化網絡攻擊的部分環節，以及讓詐騙手段變得更具欺騙性。
目前的防護措施包括：過濾可能導致危害的內容、限制 AI 模型的訪問權限和操作範圍、在發布前進行模型測試、驗證用戶身份、檢測濫用行為以及暫停違規帳戶。
「這些防護措施很重要，但還不夠。惡意用戶仍然可以轉向開源模型，任何人都可以下載並獨立運行這些模型，這使得繞過安全限制和隱藏濫用行為變得更加容易，」Teo 部長說道。
「與此同時，隨著 AI 越來越能夠代表我們採取行動，蓄意濫用並非唯一的擔憂。AI 系統也可能會誤解指令，被惡意信息欺騙，或者採取用戶或開發人員並非預期的行動。」
因此，Teo 部長補充道，新加坡需要建立多重防禦線，包括更強大的網絡防禦，以及對先進 AI 系統能力的更深入了解。
多重防禦線
Teo 部長表示，如今許多與 AI 相關的事件都涉及網絡威脅。
「在防止我們的系統成為容易被攻擊的目標方面，我們還有很多工作要做。我們必須提高檢測攻擊的能力，並在攻擊發生時能夠快速恢復。」
她補充說，這對於政府系統和關鍵服務尤為重要，因為這些系統的中斷可能會給公眾帶來嚴重後果。
「我們必須在便捷性和安全性之間 carefully 尋找平衡，確保用戶體驗的質量不會以犧牲有效的安全防護為代價。」
Teo 部長指出，新加坡網絡安全局（CSA）已發布指南，敦促各機構修復漏洞、使用強身份驗證並加強對重要系統的訪問控制。
她表示，機構也可以將 AI 用於防禦，例如在攻擊者發現漏洞之前先識別出漏洞。
「換句話說，攻擊者可以使用 AI，防禦者同樣也可以。即使一個機構無法接觸到最先進的 AI 模型，它也可以利用現有的 AI 工具來提升其網絡防禦能力。」
Teo 部長認為，當機構允許 AI 模型訪問其數據、工具和流程時，防護措施變得更加重要，並指出 AI 正越來越多地被用於驅動代表人類執行任務的「智能體」（Agents）。
「一個智能體不需要刻意繞過其護欄就能造成危害。它可能會誤解指令，以設計者或用戶未預見的方式追求目標，被惡意信息欺騙，或者被賦予了過高的權限或工具訪問權。」
例如，Teo 部長舉例說，一個用於在線購物的 AI 智能體可能會被網站上的惡意指令欺騙，從而導致非預期的購買或泄露個人信息。
「AI 驅動的操作潛在影響越大，就越需要更強的防護措施和人類監督。」
Teo 部長還提到了資訊通信媒體發展局（IMDA）制定的《智能體 AI 模型治理框架》，該框架為部署此類系統的機構設定了防護標準。
這些標準包括：限制智能體的訪問權限和操作範圍、對高風險操作要求人工審批、在部署前對智能體系統進行測試以及對其行為進行監控。
測試先進 AI 模型
Teo 部長表示，新加坡還需要在「更上游」地了解能力日益增強的 AI 模型能做什麼、其局限性以及在不同情況下的行為表現。
她補充說，新加坡 AI 安全研究所正與國際合作夥伴及第三方測試機構合作，構建評估先進 AI 系統的技術能力。
Teo 部長認為，在測試和評估方面的國際合作將使新加坡能夠彙集專業知識，對比研究結果，並對新興風險建立更強大的共同認知。
她表示，新加坡有興趣與頂尖科學專家合作，開發更強的防護措施和技術標準以支持政策制定者，並指出了《新加坡全球 AI 安全研究優先級共識》報告中的建議。
新加坡最近還支持了由挪威和芬蘭發起的一項國際呼籲，要求針對前沿 AI 建立更強的防護措施。
「無論是擔心蓄意濫用，還是日益自主的 AI 產生的非預期行為，單一的防護措施都遠遠不夠。我們需要一種多層方法，包括更強的網絡防禦、對 AI 能力的明確限制、適當的人類監督，以及隨著技術演進而不斷測試、監控和學習的能力，」Teo 部長總結道。
「隨著 AI 變得更強大、更自主，我們的防護措施也必須隨之升級。這是建立對 AI 作為服務於公眾利益之技術的信任的唯一途徑。」
