
新加坡已組建一支由20多名專家和行業領袖組成的特遣隊,旨在加強信息通信和媒體部門的防禦能力,以應對由人工智慧(AI)驅動及加速的網絡威脅。
新加坡資訊通信媒體發展局(IMDA)在周三(10月14日)表示,該前沿AI韌性與安全特遣隊(FAIRS)彙集了來自電信、媒體、網絡安全和人工智慧領域的領軍人物與專家。
其工作將重點關注三個領域:
提高對AI加速威脅的響應速度。
隨著AI在挖掘漏洞方面變得更加高效,進一步加強關鍵系統的安全性。
在整個行業內共享情報,以便更早地識別新興的攻擊技術。
該特遣隊預計將在2027年上半年發布一份包含實用指南和最佳實踐的報告。
「前沿AI正在改變遊戲規則,我們必須相應地做出調整,」IMDA執行長黃哲鵬(Ng Cher Pong)在名為「AI Assurance Exchange: Agentic Edition」的行業活動上表示。
他補充說,由於前沿AI改變了網絡安全威脅的格局,某些風險無法僅通過測試單個AI應用程式來管理。
例如,特遣隊將研究如何加強和隔離網絡與系統,以防止漏洞導致大規模癱瘓,以及如何提高網絡可見性和響應能力,以跟上快速演變的威脅步伐。
在此公告發布的前一天,新加坡剛剛推出了一項新的國家網絡安全戰略,旨在實現對AI驅動威脅更早、更快的響應,包括在國家網絡防禦行動中逐步部署AI。
測試智能體AI系統
同時,IMDA還推出了首個版本的「入門套件」,旨在幫助組織測試智能體AI(Agentic AI)系統的安全性和可靠性。
與傳統的生成式AI系統不同,AI智能體可以代表用戶採取行動、使用工具、訪問外部系統和敏感信息,並對其所處環境做出更改。
「當我們賦予AI更多的自主權(Agency)時,我們需要對其行使這種權力的方式有更高的保證,」黃哲鵬先生表示。
他補充說,測試此類系統不能僅僅看AI智能體最終是否得出了正確結果。
組織還應檢查智能體使用了哪些工具、訪問了哪些信息、在過程中做出了哪些決定、是否遵守了賦予的權限和邊界,以及安全防護措施是否按預期發揮作用。
該入門套件設定了一個四步測試流程:識別錯誤或未經授權操作等風險、設計現實的測試場景、分析日誌,以及對系統進行持續監控和重新測試。
它還要求測試智能體的整個執行軌跡(包括其推理過程和行動),而不僅僅是查看最終輸出。
該套件借鑑了與20多家行業部署者和測試者的諮詢結果,以及通過全球AI保證沙盒(Global AI Assurance Sandbox)和新加坡AI安全研究所開展的測試工作。隨著測試方法和最佳實踐的演進,該套件將持續更新。
「隨著AI的快速演進,測試方法也必須跟上。因此,這個智能體AI系統安全可靠性測試入門套件是一個『活文檔』,我們將繼續更新和完善,並歡迎大家的反饋,」黃哲鵬先生說。
在此之前一周,數字發展與信息政務部高級政務部長陳紀豪(Tan Kiat How)表示,政府正在進行試點和實驗,以了解負責任地實施智能體AI系統需要具備哪些條件。
他提到,政府正在審查如何加強現有框架和系統,以應對AI智能體日益增強的自主性,同時密切監測海外的發展動態。
此次發布也發生在今年早些時候幾起備受關注的AI智能體「失控」事件之後,其中包括行業巨頭OpenAI的數百個AI智能體集群入侵了AI基礎設施公司Hugging Face。這些智能體在超出指令範圍的情況下行動,彼此協作並試圖掩蓋行蹤。
認證AI測試員
另外,AI Verify基金會公布了首批通過其「AI測試員認證計劃(AI TAP)」的五家公司。
它們分別是:AIDX Tech、Knovel Engineering、普華永道新加坡(PwC Singapore)、Resaro和Vulcan。
該計劃於5月公布,旨在幫助企業尋找能夠測試生成式AI應用安全性和可靠性的第三方公司。
尋求認證的公司將在技術能力、過往記錄、交付能力和財務可持續性等方面接受評估。
認證有效期為一年,以便隨著AI技術的演進對標準進行審查。
「認證並不是為了暗示某一家公司可以測試所有內容,」黃哲鵬先生表示。
相反,公司是根據其證明的特定測試能力獲得認可的,這讓企業在針對特定風險選擇測試機構時更加清晰。
這三項舉措涵蓋了AI保證格局的不同部分:
測試單個智能體系統。
建立一個經過認證的獨立測試員庫。
加強信息通信和媒體部門對前沿AI模型引發的網絡和技術威脅的集體響應。
「最終目標是幫助組織更有信心地採用AI,」黃哲鵬先生總結道。