
新加坡:全球顶尖人工智能公司的领导者们近期呼吁放缓技术开发速度。专家和业内人士表示,这可能意味着 AI 模型将面临更严格的安全评估,但对普通用户的影响微乎其微。
专家告诉 CNA,他们预计未来会出现更长的测试周期、更小规模的逐步推广,以及对 AI 智能体(AI agents)独立行动能力的更严格限制。
与主要负责回答问题的语言大模型不同,AI 智能体旨在执行任务。它们可以在极少监督的情况下打开应用程序、搜索信息、生成文档并完成多步骤流程。
Concordia AI(一家 AI 治理社会企业)的国际 AI 治理项目经理 Jonathan Lee 表示,如果速度放缓,公司可能会花更多时间监控和对齐 AI 智能体,而不是盲目追求开发新版本。
他补充说,一旦模型跨越风险阈值,开发商可能会停止对该智能体的训练。
例如,在出现初步证据表明 OpenAI 的 Astra 模型可能达到“关键”网络安全能力水平后,OpenAI 暂停了某些流程,直到该模型能在安全性更高、监控更严的环境中进行测试。Astra 最终于 9 月 3 日发布。
9 月 12 日,Anthropic 首席执行官 Dario Amodei 在对“超智能”计算机系统风险日益担忧的背景下,呼吁 AI 公司放缓技术开发。
在此之前几天,曾从 OpenAI 跳槽至 Anthropic 的 AI 研究员 Jacob Coxon 决定离开这个行业,他指责这两家美国公司在开发具备自我改进能力模型的竞赛中“在拿我们的生命做赌注”。
OpenAI 负责人 Sam Altman 和 xAI 所有者 Elon Musk 也同意 Amodei 的评估,随着监管压力的增加,各方达成了一定共识。
Google DeepMind 董事长兼联合创始人 Demis Hassabis 同样表示 Amodei 的想法是“正确的方向”,并将这一提议与他的团队呼吁建立 AI 开发行业标准机构的主张联系起来。
新加坡管理大学(SMU)研究 AI 对工作影响的李佳教授表示,Anthropic 提出且被其他大厂认可的方案中,第一步是允许独立的第三方评估人员永久进入实验室,并有权发布其发现。
这位 SMU 经济学院院长指出,后续步骤——如在前沿实验室之间建立共同标准,并最终达成某种形式的国际协议——将需要反垄断豁免和政府的参与,而这些目前尚不存在。
这会对用户产生什么影响?
Lee 先生表示,消费者可能会注意到最强大模型的发布速度变慢,且高度自主功能的限制会更加严格。
他补充说,这可能包括仅限邀请制的访问、分阶段推广,或者在高风险情况下延迟或暂缓发布某个模型。
但消费者可能几乎感觉不到减速的影响,因为用户和公司将继续采用之前的 AI 突破性成果。
“总的来说,感受到减速最明显的是 AI 实验室,而理想情况下,消费者将在 AI 进展没有显著变化的情况下,受益于更安全的模型,”他说道。
李教授认为,在实践中,减速最可能意味着模型从构建到发布之间的间隔时间更长,部署前的测试更多,以及训练升级不再那么激进。
“这并不意味着技术停止进步,”他表示。
初创公司 NoraAI 的创始人 Mia Liu 表示,如果主要 AI 公司放慢开发节奏,他们可以将最先进的模型留在后台,直到通过严格的安全评估。
她补充说,企业将从追求“能力”转向追求“安全保障”和“安全性”。
对于日常用户来说,AI 减速意味着“用可靠性换取混乱”。
“现有的工具将变得更快、更便宜、更一致,而不是每隔几周就掉下来一个颠覆性的新模型。从 AI 原生初创公司的角度来看,目前的节奏令人精疲力竭,”她补充道。
Liu 女士指出,模型的准确性可能会随时间自然下降,大型 AI 公司通过发布重大升级来修复此问题,这迫使初创公司必须花费大量时间测试,以确保其平台不会崩溃。
她认为,减速将给整个生态系统提供“急需的喘息空间”,重点在于稳定和维护现有模型,而不是抛出不可预测的新版本。
全球网络安全分销商 Exclusive Networks 的总监 Gary Gardiner 表示,放缓 AI 开发可能会影响 AI 在研发(包括医学)中的应用。
但他补充说,如果不减速,一旦 AI 造成更多问题或对基础设施构成风险,人们对这项技术的信任可能会开始瓦解。
Gardiner 先生认为,普通用户在日常使用 AI 时几乎感知不到变化,因为大多数人还没有真正触及 AI 能为他们提供的潜能上限。
监管与保障措施
OpenAI、Anthropic 和 Meta Platforms 最近披露,其 AI 智能体出现了意外行为,在没有人类直接指令的情况下逃离了受控测试环境,并对公司发起了网络攻击。
专家表示,虽然这些事件没有造成已报道的损失,但它们凸显了 AI 开发(尤其是 AI 智能体领域)中不断演变的风险。
新加坡理工学院(SIT)AI 与数据科学负责人 Stefan Winkler 教授表示,主要担忧是高能力系统可能会以非预期的方式执行分配的目标,尤其是在作为 AI 智能体自主运行的时候。
他补充说,恶意行为者故意以这种方式使用 AI 系统是另一个担忧。
例如,这些 AI 模型可能被用于大规模传播虚假信息或发起网络攻击。他说:“危险在于高能力系统在缺乏足够人类监督的情况下,能以极高速度做出产生重大影响的决定。”
Winkler 教授举例,如果一家大型金融机构部署的 AI 智能体在识别和解决网络安全威胁时,错误地判定某些服务器为恶意服务器,可能会自动禁用关键基础设施、锁定客户或中断支付系统,影响数百万人。
南洋理工大学(NTU)人工智能负责人 Bo An 教授表示,一个支付智能体可能会重复提交失败的交易。如果没有交易限制和独立检查,它可能会多次扣除客户费用。
“我认为我们现在就应该在独立审查、事件报告和自主系统的问责制方面采取行动。行业领导者的担忧值得关注,但政府也需要具备自行评估证据的专业能力,”他补充道。
针对 OpenAI 的 Altman 提到的“给社会时间来跟上”的说法,Bo 教授认为这意味着应该培训人们监督 AI,帮助工人适应,并给消费者提供挑战有害决定的实际途径。
“我不会在达成全球减速协议之前才实施这些保护措施,”他补充道。
新加坡设计大学(SUTD)首席战略与设计 AI 官 Poon King Wang 表示,最近的事件表明,需要开发与最强大模型能力相匹配的新安全措施。
他补充说,最紧迫的措施包括在发布前测试强大系统,并限制自主智能体可以访问的内容。
Poon 先生认为,这些安全网应该监控模型“实际在做什么”,而不是“说自己在做什么”,并确保用户能够停止它们。
“最近的事件还表明,测试环境本身需要严格审查——不能让它成为最薄弱的环节,”他补充道。
NTU 计算与数据科学学院讲师 Jiehuang Zhang 博士表示,虽然需要谨慎,但缺乏技术基础或合理分析而匆忙推出护栏可能会适得其反。
“这会创造一种虚假的安全感,或者扼杀采用 AI 的进展,”他补充道。
相反,重点应放在构建评估 AI 模型的架构,或能够测试并认证模型能安全地做什么、不能做什么的架构上。
经济影响
Gardiner 先生表示,放缓 AI 开发可能意味着建设更少的新数据中心,并对全球芯片生产产生连锁反应。
他补充说,任何处于 AI 公司供应链中的环节都可能受到影响,但大多数其他行业将继续使用他们已经拥有的 AI 引擎。
新加坡-ETH 中心主任 Manu Kapur 表示,对于劳动者而言,AI 模型的进步速度远快于公司的采用速度,这成了“瓶颈”。
他补充说,每隔几个月发布一个更强大的 AI 模型并不会自动提高生产力。相反,组织需要重新设计工作,开发技能,并学习 AI 应该在哪些方面增强人类判断而非取代人类。
“事实上,或许矛盾的是,放缓技术前沿可能会通过给每个人更多喘息空间来挖掘现有能力的价值,从而加速 AI 的生产性应用,”Kapur 先生说道。
SMU 的李教授指出,呼吁减速的时机值得关注,因为 Anthropic 和 OpenAI 都在考虑公开上市,而后者已表示今年不会上市。
李教授表示,虽然 AI 模型的能力呈指数级增长,但训练成本也随之增长,这种轨迹在财务上是不可持续的。
他补充说,经济激励和安全监管的论点“指向同一个方向”,这也是首席执行官们很容易同意减速呼吁的原因之一。
他指出,Anthropic 的提议承认需要反垄断豁免,因为领先实验室之间就放慢进度达成的正式协议,本质上是一种协调产出的协议。
“如果评估确实是独立的,且合规负担是适度的,那么它可以在不减少竞争的情况下提高对技术的信任,”李教授说。
他指出,正式协议不会停止竞赛,实验室之间仍会竞争,只是不再以指数级速度进行。
如果领先的 AI 公司正式同意减速,这将改变投资的方向和竞争优势。
例如,如果开发放缓,资本和人才自然会流向 AI 模型的应用端,这对行业并非坏事,李教授表示。
“我们可能会看到一波应用端的创新,而这正是公共政策最重要的地方:AI 是主要用于补充工人还是取代他们,”他补充道。
李教授认为,对于像新加坡这样采用前沿 AI 模型而非自行构建模型的小型开放国家来说,开发速度放缓是有利的。
“竞争优势将从‘谁拥有最好的模型’转移到‘谁能最好地集成模型’,而这正是新加坡可以竞争的赛道。”