新加坡数字发展与信息部长 Josephine Teo 在周五（10月2日）表示，虽然前沿人工智能（AI）公司采取的安全防护措施至关重要，但面对能力日益增强的系统，这些措施已不足以应对潜在风险。
Teo 部长在 Facebook 的发文中指出，恶意用户可能会利用功能日益强大的 AI 来造成危害，例如寻找计算机系统的漏洞、编写恶意代码、自动化网络攻击的部分环节，以及让诈骗手段变得更具欺骗性。
目前的防护措施包括：过滤可能导致危害的内容、限制 AI 模型的访问权限和操作范围、在发布前进行模型测试、验证用户身份、检测滥用行为以及暂停违规账户。
“这些防护措施很重要，但还不够。恶意用户仍然可以转向开源模型，任何人都可以下载并独立运行这些模型，这使得绕过安全限制和隐藏滥用行为变得更加容易，”Teo 部长说道。
“与此同时，随着 AI 越来越能够代表我们采取行动，蓄意滥用并非唯一的担忧。AI 系统也可能会误解指令，被恶意信息欺骗，或者采取用户或开发人员并非预期的行动。”
因此，Teo 部长补充道，新加坡需要建立多重防御线，包括更强大的网络防御，以及对先进 AI 系统能力的更深入了解。
多重防御线
Teo 部长表示，如今许多与 AI 相关的事件都涉及网络威胁。
“在防止我们的系统成为容易被攻击的目标方面，我们还有很多工作要做。我们必须提高检测攻击的能力，并在攻击发生时能够快速恢复。”
她补充说，这对于政府系统和关键服务尤为重要，因为这些系统的中断可能会给公众带来严重后果。
“我们必须在便捷性和安全性之间 carefully 寻找平衡，确保用户体验的质量不会以牺牲有效的安全防护为代价。”
Teo 部长指出，新加坡网络安全局（CSA）已发布指南，敦促各机构修复漏洞、使用强身份验证并加强对重要系统的访问控制。
她表示，机构也可以将 AI 用于防御，例如在攻击者发现漏洞之前先识别出漏洞。
“换句话说，攻击者可以使用 AI，防御者同样也可以。即使一个机构无法接触到最先进的 AI 模型，它也可以利用现有的 AI 工具来提升其网络防御能力。”
Teo 部长认为，当机构允许 AI 模型访问其数据、工具和流程时，防护措施变得更加重要，并指出 AI 正越来越多地被用于驱动代表人类执行任务的“智能体”（Agents）。
“一个智能体不需要刻意绕过其护栏就能造成危害。它可能会误解指令，以设计者或用户未预见的方式追求目标，被恶意信息欺骗，或者被赋予了过高的权限或工具访问权。”
例如，Teo 部长举例说，一个用于在线购物的 AI 智能体可能会被网站上的恶意指令欺骗，从而导致非预期的购买或泄露个人信息。
“AI 驱动的操作潜在影响越大，就越需要更强的防护措施和人类监督。”
Teo 部长还提到了资讯通信媒体发展局（IMDA）制定的《智能体 AI 模型治理框架》，该框架为部署此类系统的机构设定了防护标准。
这些标准包括：限制智能体的访问权限和操作范围、对高风险操作要求人工审批、在部署前对智能体系统进行测试以及对其行为进行监控。
测试先进 AI 模型
Teo 部长表示，新加坡还需要在“更上游”地了解能力日益增强的 AI 模型能做什么、其局限性以及在不同情况下的行为表现。
她补充说，新加坡 AI 安全研究所正与国际合作伙伴及第三方测试机构合作，构建评估先进 AI 系统的技术能力。
Teo 部长认为，在测试和评估方面的国际合作将使新加坡能够汇集专业知识，对比研究结果，并对新兴风险建立更强大的共同认知。
她表示，新加坡有兴趣与顶尖科学专家合作，开发更强的防护措施和技术标准以支持政策制定者，并指出了《新加坡全球 AI 安全研究优先级共识》报告中的建议。
新加坡最近还支持了由挪威和芬兰发起的一项国际呼吁，要求针对前沿 AI 建立更强的防护措施。
“无论是担心蓄意滥用，还是日益自主的 AI 产生的非预期行为，单一的防护措施都远远不够。我们需要一种多层方法，包括更强的网络防御、对 AI 能力的明确限制、适当的人类监督，以及随着技术演进而不断测试、监控和学习的能力，”Teo 部长总结道。
“随着 AI 变得更强大、更自主，我们的防护措施也必须随之升级。这是建立对 AI 作为服务于公众利益之技术的信任的唯一途径。”
