NTU S-lab 刘子纬团队与港中文合作,提出全新动作生成框架!

2026/04/02   •   734阅
南洋理工大学S-Lab与香港中文大学联合提出革命性动作生成框架MoTok,首创扩散型离散运动tokenizer,破解动作可控性与自然度难以兼得的世界级难题!通过Perception-Planning-Control三阶段创新架构,将token量压缩至SOTA方法的1/6,轨迹误差下降89%,FID指标提升超65%,实现“越控越自然”的突破性效果,为数字人、具身智能与虚拟动画开辟全新技术路径,重塑未来动作生成格局。

南洋理工大学(NTU)S-Lab 与香港中文大学研究团队,提出全新动作生成框架 MoTok!该技术首创基于扩散的离散运动 tokenizer,破解了动作生成中 “可控性” 与 “自然度” 的取舍困境,同时将 token 量压缩至现有 SOTA 方法的 1/6,实现 “越控越自然” 的突破性效果

研究团队与论文信息

核心作者

Chenyang Gu、Mingyuan Zhang、Haozhe Xie):NTU S-Lab 共同一作

Zhongang Cai、Lei Yang:核心研究成员

刘子纬(Ziwei Liu):NTU S-Lab 通讯作者,课题负责人

链接

论文链接:https://arxiv.org/pdf/2603.19227v1

项目主页:https://rheallyc.github.io/projects/motok/

Github链接:github.com/rheallyc/MoTok

核心突破:破解 “可控性 - 自然度” 二选一难题

现有动作生成方法中,控制越强动作越僵硬,追求自然度则易偏离指令,两类需求始终此消彼长!MoTok 团队指出,核心矛盾在于:高层语义规划(决定 “做什么”)与低层细节控制(决定 “怎么做”)被强行压缩在同一生成阶段,相互拉扯导致性能受限!

/www/orgs.pro/web/images/image/1783/17831391.avif

MoTok 首创Perception–Planning–Control 三阶段范式,从根源化解矛盾:

Perception 阶段:灵活适配全局 / 局部条件输入,理解动作需求

Planning 阶段:在离散 token 空间完成高层语义规划,仅保留核心语义信息

Control 阶段:通过基于扩散的解码器,完成动作细节重建与细粒度控制

关键性能数据:token 大砍,效果全面提升

核心指标突破

oken 量压缩:仅为现有 SOTA 方法的1/6,大幅降低计算成本

轨迹误差降低:从0.72cm降至0.08cm,降幅达 89%!

FID 指标优化:基础 FID 从0.083降至0.029,降幅65%;关节轨迹控制下 FID 再降58%,低至 0.014!

多任务性能提升:文生动作(T2M)、动生文(M2T)任务效果均大幅提升,T2M FID 从0.141降至0.053!

对比实验验证

在完全相同的离散 token 下,仅替换为 MoTok 扩散解码器,重建效果即显著改善;替换为 MoTok token 后,无论搭配何种解码器,文生动作效果均大幅提升!

技术创新:从粗到精的分阶段控制注入

从粗到精的控制注入方案

Planning 阶段:关节轨迹以粗粒度约束参与动作规划,不干扰语义规划

Control 阶段:以细粒度约束通过扩散迭代优化,精准控制动作细节

消融实验验证:仅保留 Planning 阶段粗约束,轨迹控制误差大幅上升;仅在 Control 阶段施加细约束,动作分布明显受损;双阶段协同才能实现可控性与自然度的双重提升!

应用前景:赋能数字人、具身智能等多场景

MoTok 实现了高层语义与低层细节的解耦,让条件动作生成同时具备更强可控性、更高自然度与更好通用性!

该范式为具身智能、数字人、虚拟角色动画等场景,提供了全新的技术方向,推动动作生成技术迈向实用化!

/www/orgs.pro/web/images/image/1783/17831397.avif
/www/orgs.pro/web/images/image/1783/17831400.avif

及时获取本站更新:

设为 Google 偏好来源

新移民女富豪9200万新币拿下香港老洋房,新加坡身份亮了

2026/06/15   •   5432阅

65岁拥有1000万新币

2026/06/16   •   5271阅

“我就递个娃,凭什么要多花2块钱?”新加坡爸爸怒了,发公开信直指交通部长

2026/06/14   •   5028阅

新加坡工资真相大揭秘,从普工到白领,每个阶层都有多少钱

2026/06/18   •   3247阅

新加坡越来越贵!这5个习惯,每月多省上千新币

2026/06/18   •   2920阅

放弃自我、逼哭女儿,这位备受争议的新加坡妈妈,撕开东亚母女最真实的一面……

2026/06/14   •   2271阅

新加坡组屋区迎来榴梿大丰收,居民树下捡免费榴梿!

2026/06/18   •   2107阅

家楼下就能寄包裹了!9月底前,全岛组屋、公寓都将推行~

2026/06/17   •   1953阅

在新加坡“活到老干到老”,在中国公园“享受松弛感”:两套养老体制的得与失

2026/06/19   •   1868阅

新加坡人幸福吗?当你欲求不满时,不妨看看这些家庭

2026/06/16   •   1870阅

新加坡3号和3A驾照含金量大涨!这些车都能开了

2026/06/17   •   1706阅

36万新币买一张工签?一个中国男人的新加坡移民梦碎……

2026/06/15   •   1704阅

曾被学校劝退、本地大学拒收,他最终拿下哈佛博士学位

2026/06/16   •   1704阅

组屋有配额!新加坡部长亲述怎么让新移民和本地人做邻居

2026/06/17   •   1627阅

不需要去日本也能做森林浴!新加坡植物园新步道,150米走出满满治愈感

2026/06/15   •   1623阅

爸妈都是新加坡警官是种怎样的体验?儿子谈恋爱,爸爸竟掏出《刑法》!

2026/06/16   •   1548阅

吓人还是有特色?民众俱乐部翻新后夜晚泛红光,居民反应褒贬不一

2026/06/18   •   1458阅

新加坡入境卡上的地址怎么填?没订酒店地址怎么办?

2026/06/16   •   1380阅

带着两个5、6岁的孩子,新加坡这对夫妻卖了车子房子,跨国自驾去土耳其!

2026/06/15   •   1300阅

每次从机场回新山都头痛?WTS 9全新跨境巴士带你从樟宜机场直达新山TUTA!单程票只需$11!省时间省钱!

2026/06/18   •   1301阅

NUS毕业生求职提醒:新加坡高学历裁员率上升

2026/06/17   •   1215阅

外国人在新加坡看病方便吗?内附真实账单与就医“防坑”指南!

2026/06/14   •   1222阅

新加坡的消费水平,到底贵不贵?和中国比完你就懂了

2026/06/16   •   1138阅

新加坡资深媒体人韩咏梅点评:后真相时代看《给阿嬷的情书》

2026/06/16   •   1141阅