編者按
南洋理工大學的科學家開發了一種新型人工智慧（AI）系統，該系統通過將類似人類皮膚的電子設備與計算機視覺結合起來，達到高精度識別手勢的目的。
傳統AI手勢識別系統
在過去的十年里，傳統AI系統在手勢識別方面的發展已頗具成果，被應用於各行各業中，例如高精度的外科手術機器人、健康監測設備和遊戲系統等。
隨著傳感器的發展，可穿戴式傳感器的應用成功改進了最初僅用於視覺的AI手勢識別系統，通過可穿戴式的傳感器重建皮膚的感知能力，這也正是我們常說的「體感技術」。
儘管體感技術具有非常廣泛的發展前景，但是，現在也面臨著以下問題。
其一：數據採集誤差。傳統AI手勢識別的精準度會受到可穿戴式傳感器的影響，有些傳統可穿戴式傳感器的體積大，與用戶接觸不穩定，從而導致傳感器的數據質量低，影響系統結果。
其二：數據合併處理相應慢。傳感器收集的視覺和感官數據是需要集成處理的，在集成的過程中常常因為它們的數據集不匹配，需要分別處理最後合併，從而導致效率低下且響應時間變長。
仿生AI數據融合系統
為了應對這些挑戰，NTU團隊創建了一個「仿生」的數據融合系統，該系統使用了一款由單壁碳納米管製成的類似皮膚的可拉伸應變傳感器，以及一種類似人類皮膚感知和視覺處理的AI算法。
NTU科學家結合了三種神經網絡法來開發這種仿生AI系統，分別是「卷積神經網絡」、「多層神經網絡」以及「稀疏神經網絡」，通過AI系統將視覺和體感信息融合在一起，從而可以更準確，更有效地識別人的手勢。
研究人員展示研究成果，來源：NTU官網
該研究的主要作者，NTU材料科學與工程學院的Chen Xiaodong教授說：「我們的數據融合架構具有獨特的仿生特徵，是一個類似於人體體感-視覺融合的人造系統。我們相信此架構在現有方法中是獨一無二的。」
可拉伸應變傳感器的特性 來源：Nature Electronics
他還表示，「傳統穿戴式傳感器與用戶之間無法形成足夠緊密的接觸從而無法收集到準確的數據，與傳統穿戴式傳感器相比，我們的創新技術使用可拉伸的應變傳感器，可舒適地貼附在皮膚上。這可以實現高質量的信號採集，來完成精準的識別任務」。
新版系統具有較高識別精確度
NTU和雪梨理工大學（UTS）的科學家組成的研究小組於6月在科學期刊《自然電子》上發表了該研究成果。研究表明，即使在惡劣的環境條件下該系統也具有較高的識別精度。
為了從手勢中捕獲可靠的感官數據，研究團隊製造了一種透明的、可拉伸的應變傳感器，該傳感器附著在皮膚上，但在相機圖像中看不到。
附著在皮膚上的可拉伸的應變傳感器，來源：NTU官網
作為理論證明，該團隊使用通過手勢控制的機器人測試了他們的仿生AI系統，並引導其通過了迷宮。結果表明，基於傳統的手勢識別系統產生的六個識別錯誤，由仿生AI系統提供動力的識別能夠準確無誤引導機器人穿越迷宮。
當新的AI系統在惡劣條件下（包括噪音和不利照明條件）進行測試時，也保持了較高的準確性。而在黑暗中有效工作，識別準確率高達96.7％。
BSV相關學習的數據集準備 來源：Nature Electronics
NTU材料科學與工程學院的Wang Ming博士（第一作者）說：「該系統的高精度背後的秘密在於，視覺和體感信息可以相互作用並相互補充。因此，系統可以合理地收集具有較少冗餘數據和較少感知歧義的連貫信息，從而提高準確性。」
德國馬克斯·普朗克膠體與介面研究所所長Markus Antonietti教授表達了獨特的觀點，他說：「該研究成果使我們向更智能的世界邁出了一步。就像智慧型手機的發明一樣，這項工作給我們帶來了希望，有朝一日，我們可以通過一個手勢，精準的控制我們周圍的世界。」
NTU研究團隊目前立志建立一個基於AI系統的VR和AR系統，用於需要高精度識別和控制的領域，如家庭娛樂技術和家庭康復等。
參考文獻：
1. "NTU Singapore scientists develop Artificial Intelligence system for high precision recognition of hand gestures" NTU Media Release;
2. 「Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors」 Nature Electronics.
