NTU S-lab 劉子緯團隊與港中文合作,提出全新動作生成框架!

2026/04/02   •   734閱
南洋理工大學S-Lab與香港中文大學聯合提出革命性動作生成框架MoTok,首創擴散型離散運動tokenizer,破解動作可控性與自然度難以兼得的世界級難題!通過Perception-Planning-Control三階段創新架構,將token量壓縮至SOTA方法的1/6,軌跡誤差下降89%,FID指標提升超65%,實現「越控越自然」的突破性效果,為數字人、具身智能與虛擬動畫開闢全新技術路徑,重塑未來動作生成格局。

南洋理工大學(NTU)S-Lab 與香港中文大學研究團隊,提出全新動作生成框架 MoTok!該技術首創基於擴散的離散運動 tokenizer,破解了動作生成中 「可控性」 與 「自然度」 的取捨困境,同時將 token 量壓縮至現有 SOTA 方法的 1/6,實現 「越控越自然」 的突破性效果

研究團隊與論文信息

核心作者

Chenyang Gu、Mingyuan Zhang、Haozhe Xie):NTU S-Lab 共同一作

Zhongang Cai、Lei Yang:核心研究成員

劉子緯(Ziwei Liu):NTU S-Lab 通訊作者,課題負責人

連結

論文連結:https://arxiv.org/pdf/2603.19227v1

項目主頁:https://rheallyc.github.io/projects/motok/

Github連結:github.com/rheallyc/MoTok

核心突破:破解 「可控性 - 自然度」 二選一難題

現有動作生成方法中,控制越強動作越僵硬,追求自然度則易偏離指令,兩類需求始終此消彼長!MoTok 團隊指出,核心矛盾在於:高層語義規劃(決定 「做什麼」)與低層細節控制(決定 「怎麼做」)被強行壓縮在同一生成階段,相互拉扯導致性能受限!

/www/orgs.pro/web/images/image/1783/17831391.avif

MoTok 首創Perception–Planning–Control 三階段範式,從根源化解矛盾:

Perception 階段:靈活適配全局 / 局部條件輸入,理解動作需求

Planning 階段:在離散 token 空間完成高層語義規劃,僅保留核心語義信息

Control 階段:通過基於擴散的解碼器,完成動作細節重建與細粒度控制

關鍵性能數據:token 大砍,效果全面提升

核心指標突破

oken 量壓縮:僅為現有 SOTA 方法的1/6,大幅降低計算成本

軌跡誤差降低:從0.72cm降至0.08cm,降幅達 89%!

FID 指標優化:基礎 FID 從0.083降至0.029,降幅65%;關節軌跡控制下 FID 再降58%,低至 0.014!

多任務性能提升:文生動作(T2M)、動生文(M2T)任務效果均大幅提升,T2M FID 從0.141降至0.053!

對比實驗驗證

在完全相同的離散 token 下,僅替換為 MoTok 擴散解碼器,重建效果即顯著改善;替換為 MoTok token 後,無論搭配何種解碼器,文生動作效果均大幅提升!

技術創新:從粗到精的分階段控制注入

從粗到精的控制注入方案

Planning 階段:關節軌跡以粗粒度約束參與動作規劃,不干擾語義規劃

Control 階段:以細粒度約束通過擴散疊代優化,精準控制動作細節

消融實驗驗證:僅保留 Planning 階段粗約束,軌跡控制誤差大幅上升;僅在 Control 階段施加細約束,動作分布明顯受損;雙階段協同才能實現可控性與自然度的雙重提升!

應用前景:賦能數字人、具身智能等多場景

MoTok 實現了高層語義與低層細節的解耦,讓條件動作生成同時具備更強可控性、更高自然度與更好通用性!

該範式為具身智能、數字人、虛擬角色動畫等場景,提供了全新的技術方向,推動動作生成技術邁向實用化!

/www/orgs.pro/web/images/image/1783/17831397.avif
/www/orgs.pro/web/images/image/1783/17831400.avif

及時獲取本站更新:

設為 Google 偏好來源

新移民女富豪9200萬新幣拿下香港老洋房,新加坡身份亮了

2026/06/15   •   5432閱

65歲擁有1000萬新幣

2026/06/16   •   5352閱

「我就遞個娃,憑什麼要多花2塊錢?」新加坡爸爸怒了,發公開信直指交通部長

2026/06/14   •   5028閱

新加坡工資真相大揭秘,從普工到白領,每個階層都有多少錢

2026/06/18   •   3247閱

新加坡越來越貴!這5個習慣,每月多省上千新幣

2026/06/18   •   2920閱

放棄自我、逼哭女兒,這位備受爭議的新加坡媽媽,撕開東亞母女最真實的一面……

2026/06/14   •   2271閱

新加坡組屋區迎來榴槤大豐收,居民樹下撿免費榴槤!

2026/06/18   •   2107閱

家樓下就能寄包裹了!9月底前,全島組屋、公寓都將推行~

2026/06/17   •   1953閱

在新加坡「活到老乾到老」,在中國公園「享受鬆弛感」:兩套養老體制的得與失

2026/06/19   •   1868閱

新加坡人幸福嗎?當你欲求不滿時,不妨看看這些家庭

2026/06/16   •   1870閱

新加坡3號和3A駕照含金量大漲!這些車都能開了

2026/06/17   •   1706閱

36萬新幣買一張工簽?一個中國男人的新加坡移民夢碎……

2026/06/15   •   1704閱

曾被學校勸退、本地大學拒收,他最終拿下哈佛博士學位

2026/06/16   •   1704閱

組屋有配額!新加坡部長親述怎麼讓新移民和本地人做鄰居

2026/06/17   •   1627閱

不需要去日本也能做森林浴!新加坡植物園新步道,150米走出滿滿治癒感

2026/06/15   •   1623閱

爸媽都是新加坡警官是種怎樣的體驗?兒子談戀愛,爸爸竟掏出《刑法》!

2026/06/16   •   1548閱

嚇人還是有特色?民眾俱樂部翻新後夜晚泛紅光,居民反應褒貶不一

2026/06/18   •   1458閱

新加坡入境卡上的地址怎麼填?沒訂酒店地址怎麼辦?

2026/06/16   •   1380閱

帶著兩個5、6歲的孩子,新加坡這對夫妻賣了車子房子,跨國自駕去土耳其!

2026/06/15   •   1300閱

每次從機場回新山都頭痛?WTS 9全新跨境巴士帶你從樟宜機場直達新山TUTA!單程票只需$11!省時間省錢!

2026/06/18   •   1301閱

NUS畢業生求職提醒:新加坡高學歷裁員率上升

2026/06/17   •   1215閱

外國人在新加坡看病方便嗎?內附真實帳單與就醫「防坑」指南!

2026/06/14   •   1222閱

新加坡的消費水平,到底貴不貴?和中國比完你就懂了

2026/06/16   •   1138閱

新加坡資深媒體人韓詠梅點評:後真相時代看《給阿嬤的情書》

2026/06/16   •   1141閱