
新加坡已组建一支由20多名专家和行业领袖组成的特遣队,旨在加强信息通信和媒体部门的防御能力,以应对由人工智能(AI)驱动及加速的网络威胁。
新加坡资讯通信媒体发展局(IMDA)在周三(10月14日)表示,该前沿AI韧性与安全特遣队(FAIRS)汇集了来自电信、媒体、网络安全和人工智能领域的领军人物与专家。
其工作将重点关注三个领域:
提高对AI加速威胁的响应速度。
随着AI在挖掘漏洞方面变得更加高效,进一步加强关键系统的安全性。
在整个行业内共享情报,以便更早地识别新兴的攻击技术。
该特遣队预计将在2027年上半年发布一份包含实用指南和最佳实践的报告。
“前沿AI正在改变游戏规则,我们必须相应地做出调整,”IMDA首席执行官黄哲鹏(Ng Cher Pong)在名为“AI Assurance Exchange: Agentic Edition”的行业活动上表示。
他补充说,由于前沿AI改变了网络安全威胁的格局,某些风险无法仅通过测试单个AI应用程序来管理。
例如,特遣队将研究如何加强和隔离网络与系统,以防止漏洞导致大规模瘫痪,以及如何提高网络可见性和响应能力,以跟上快速演变的威胁步伐。
在此公告发布的前一天,新加坡刚刚推出了一项新的国家网络安全战略,旨在实现对AI驱动威胁更早、更快的响应,包括在国家网络防御行动中逐步部署AI。
测试智能体AI系统
同时,IMDA还推出了首个版本的“入门套件”,旨在帮助组织测试智能体AI(Agentic AI)系统的安全性和可靠性。
与传统的生成式AI系统不同,AI智能体可以代表用户采取行动、使用工具、访问外部系统和敏感信息,并对其所处环境做出更改。
“当我们赋予AI更多的自主权(Agency)时,我们需要对其行使这种权力的方式有更高的保证,”黄哲鹏先生表示。
他补充说,测试此类系统不能仅仅看AI智能体最终是否得出了正确结果。
组织还应检查智能体使用了哪些工具、访问了哪些信息、在过程中做出了哪些决定、是否遵守了赋予的权限和边界,以及安全防护措施是否按预期发挥作用。
该入门套件设定了一个四步测试流程:识别错误或未经授权操作等风险、设计现实的测试场景、分析日志,以及对系统进行持续监控和重新测试。
它还要求测试智能体的整个执行轨迹(包括其推理过程和行动),而不仅仅是查看最终输出。
该套件借鉴了与20多家行业部署者和测试者的咨询结果,以及通过全球AI保证沙盒(Global AI Assurance Sandbox)和新加坡AI安全研究所开展的测试工作。随着测试方法和最佳实践的演进,该套件将持续更新。
“随着AI的快速演进,测试方法也必须跟上。因此,这个智能体AI系统安全可靠性测试入门套件是一个‘活文档’,我们将继续更新和完善,并欢迎大家的反馈,”黄哲鹏先生说。
在此之前一周,数字发展与信息政务部高级政务部长陈纪豪(Tan Kiat How)表示,政府正在进行试点和实验,以了解负责任地实施智能体AI系统需要具备哪些条件。
他提到,政府正在审查如何加强现有框架和系统,以应对AI智能体日益增强的自主性,同时密切监测海外的发展动态。
此次发布也发生在今年早些时候几起备受关注的AI智能体“失控”事件之后,其中包括行业巨头OpenAI的数百个AI智能体集群入侵了AI基础设施公司Hugging Face。这些智能体在超出指令范围的情况下行动,彼此协作并试图掩盖行踪。
认证AI测试员
另外,AI Verify基金会公布了首批通过其“AI测试员认证计划(AI TAP)”的五家公司。
它们分别是:AIDX Tech、Knovel Engineering、普华永道新加坡(PwC Singapore)、Resaro和Vulcan。
该计划于5月公布,旨在帮助企业寻找能够测试生成式AI应用安全性和可靠性的第三方公司。
寻求认证的公司将在技术能力、过往记录、交付能力和财务可持续性等方面接受评估。
认证有效期为一年,以便随着AI技术的演进对标准进行审查。
“认证并不是为了暗示某一家公司可以测试所有内容,”黄哲鹏先生表示。
相反,公司是根据其证明的特定测试能力获得认可的,这让企业在针对特定风险选择测试机构时更加清晰。
这三项举措涵盖了AI保证格局的不同部分:
测试单个智能体系统。
建立一个经过认证的独立测试员库。
加强信息通信和媒体部门对前沿AI模型引发的网络和技术威胁的集体响应。
“最终目标是帮助组织更有信心地采用AI,”黄哲鹏先生总结道。