近年來，虛擬手在 VR 游戲等領(lǐng)域得到了廣泛的應(yīng)用， 開發(fā)者們不斷探索用逼真的虛擬手實(shí)現(xiàn)基于手勢識(shí)別的交互運(yùn)動(dòng)，但想要讓用戶充分感受真實(shí)運(yùn)動(dòng)的逼真感還存在許多技術(shù)難題。 

當(dāng)前， 在虛擬/增強(qiáng)現(xiàn)實(shí)（VR/AR）領(lǐng)域，大多數(shù)追蹤手部動(dòng)作的最先進(jìn)技術(shù)缺乏足夠的準(zhǔn)確性。 

那些依賴于視覺檢測的跟蹤設(shè)備在黑暗環(huán)境中或有障礙物阻擋視線的情況下會(huì)無法工作，而那些依賴于基于速度和力計(jì)算位置的慣性測量單元（IMU）更是容易受到電磁干擾。 同樣，一些由軟傳感器組成的設(shè)備也不能總是區(qū)分出手何時(shí)在做動(dòng)作、何時(shí)觸摸會(huì)導(dǎo)致物體變形。 

近日，來自韓國首爾大學(xué)、美國斯坦福大學(xué)和三星電子的科研團(tuán)隊(duì)，就通過緊密耦合的方式將視覺傳感器和 IMU 融合，克服了這些限制并設(shè)計(jì)出了一個(gè)新的視覺慣性骨架跟蹤（VIST）框架。

視頻｜3D 無人機(jī)群控制。用戶可以通過簡單地推動(dòng)無人機(jī)群或快速定義 3D 虛擬墻來有效地控制復(fù)雜的 3D 群體行為，以避開危險(xiǎn)區(qū)域，這些操作很難依靠傳統(tǒng)的 2D 平板電腦界實(shí)現(xiàn)。（來源：該論文）

據(jù)論文描述，該框架由一個(gè)配備傳感器的手套和頭戴式攝像機(jī)組成，是一種準(zhǔn)確、經(jīng)濟(jì)、便攜、甚至可清洗的跟蹤系統(tǒng)， 能夠結(jié)合視覺和力的測量準(zhǔn)確跟蹤人體手和手指的運(yùn)動(dòng)，準(zhǔn)確跟蹤一些在現(xiàn)實(shí)環(huán)境中受障礙物影響而難以檢測的運(yùn)動(dòng)。此外，研究人員也展示了這一新跟蹤系統(tǒng)應(yīng)用于 VR、假肢，戶外無人機(jī)群等各個(gè)領(lǐng)域的潛力。 

一種十分友好的人機(jī)交互

人類可以很輕松地使用雙手完成一些運(yùn)動(dòng)控制， 如果可以將人體手部的靈活性復(fù)制到 VR/AR 場景中，例如通過擬人化機(jī)器手的觸覺反饋來完成復(fù)雜的遠(yuǎn)程操縱任務(wù)，將顯著提高人機(jī)交互（HRI）應(yīng)用的效率、直觀性和豐富性。

實(shí)時(shí)交互性是指用戶對(duì)模擬環(huán)境中物體的可操作程度和從環(huán)境得到反饋的自然程度。 交互性的產(chǎn)生，主要借助于 VR 系統(tǒng)中的特殊硬件設(shè)備（如數(shù)據(jù)手套、力反饋裝置等），使用戶能以自然的方式產(chǎn)生與在真實(shí)世界中一樣的感覺。 VR 系統(tǒng)比較強(qiáng)調(diào)人與虛擬世界進(jìn)行自然的交互，交互性的另一個(gè)方面主要表現(xiàn)了交互的實(shí)時(shí)性。 

在 VR/AR 和人機(jī)交互的用戶體驗(yàn)中，對(duì)手部（包括手指）的追蹤是一項(xiàng)關(guān)鍵技術(shù)。 目前用于解決手部追蹤問題的方法主要有以下 3 種：

基于視覺的手部追蹤。使用相機(jī)來追蹤沒有標(biāo)記的手部運(yùn)動(dòng)，同時(shí)利用大型圖像數(shù)據(jù)集訓(xùn)練的機(jī)器學(xué)習(xí)技術(shù)，但該方法存在無法規(guī)避遮擋的問題；

基于慣性測量單元（IMU）/羅盤的可穿戴手部追蹤。通常使用的傳感器包括六軸 IMU（即加速度計(jì)和陀螺儀）和羅盤（即磁力計(jì)）。這種方法從根本上說容易受到磁場變化或干擾的影響，受鐵磁性物體或電子設(shè)備干擾嚴(yán)重；

軟性可穿戴手部追蹤。使用一些軟性傳感器，檢測每個(gè)傳感器變形產(chǎn)生的信號(hào)，將傳感器包裹在手的周圍，用額外的手部姿勢傳感器來估計(jì)手的配置。這種方法無法區(qū)分運(yùn)動(dòng)引起的變形和接觸引起的變形，使其不適合于用戶需要處理物體/工具或佩戴觸覺設(shè)備的應(yīng)用。

此外， 純磁跟蹤器、外骨骼跟蹤等方法均存在一定的技術(shù)和應(yīng)用局限性。為此，研究人員提出了一個(gè)視覺慣性骨架跟蹤（VIST）系統(tǒng)及其相應(yīng)算法，用于準(zhǔn)確、穩(wěn)健、經(jīng)濟(jì)實(shí)惠的手部跟蹤，克服了這些手部追蹤方法的技術(shù)局限。 

圖｜VIST 的系統(tǒng)配置和可能的應(yīng)用（來源：該論文）

VIST 系統(tǒng)的關(guān)鍵創(chuàng)新之一是，以緊密耦合（TC）的方式融合了視覺和慣性傳感器，對(duì)于視覺傳感器沒有檢測到的物體，慣性傳感器都會(huì)作輔助估計(jì)，反之亦然：而慣性傳感器沒有檢測到的動(dòng)作也會(huì)由視覺數(shù)據(jù)作一補(bǔ)充，TC 融合方法使得 VIST 算法在手部追蹤上表現(xiàn)出更高的穩(wěn)健性。VIST 架構(gòu)的一些重要優(yōu)勢主要為： 

與其他最先進(jìn)的方法相比，由于 TC 視覺-慣性融合和自動(dòng)校準(zhǔn)，跟蹤精度更高；

對(duì)閉塞、視覺復(fù)雜/變化的環(huán)境和環(huán)境照明的穩(wěn)健性；

對(duì)電磁干擾和模糊的機(jī)械接觸的魯棒性，從而使得操作物體和佩戴設(shè)備成為可能；

方便實(shí)時(shí)校準(zhǔn)/自動(dòng)校準(zhǔn)解剖學(xué)/手套運(yùn)動(dòng)學(xué)參數(shù)，并納入 VIST 算法；

在可清洗方面表現(xiàn)出的堅(jiān)固性，在手套材料成本方面的可負(fù)擔(dān)性，還可以使用頭戴式顯示器（HMD）的攝像頭和計(jì)算，重量較輕，可穿戴性強(qiáng)。

顯著提高跟蹤精度和用戶便利性

在手部追蹤系統(tǒng)中，對(duì)手部的建模是一個(gè)關(guān)鍵步驟。在該研究中，人手被建模為分段關(guān)節(jié)骨架模型，并選擇手背和在日常生活中起關(guān)鍵性作用的三個(gè)手指（拇指、食指和中指）作為目標(biāo)跟蹤段。

圖｜VIST 的建模與流程（來源：該論文）

為了獲得目標(biāo)跟蹤段的視覺和慣性信息，研究人員設(shè)計(jì)了一個(gè)傳感器手套，手套分兩層：帶有 7 個(gè) IMU 的手套內(nèi)層，帶有 37 個(gè)視覺標(biāo)記的外手套層 ，視覺標(biāo)記具有 4 種不同顏色（紅色、藍(lán)色、綠色和黃色），手套上還有一個(gè)頭戴式立體攝像機(jī)。 同時(shí)，研究人員還開發(fā)了一種基于濾波的視覺慣性手部跟蹤算法，該算法主要包括對(duì)視覺信息的提取以及視覺慣性手部運(yùn)動(dòng)的估計(jì)，通過將 IMU 信息與提取的視覺信息和手部解剖約束融合處理，來估計(jì)手部運(yùn)動(dòng)。 

圖 | 未使用視覺和慣性信號(hào)融合處理的方法得到的跟蹤效果（有許多異常值，檢測精度不穩(wěn)定）

圖 | 使用視覺和慣性信號(hào)融合處理的方法得到的跟蹤效果（利用 IMU 信息進(jìn)行魯棒匹配）

視覺信息的提取主要包括對(duì)原始圖像中的標(biāo)記檢測、左右立體匹配和 IMU 輔助的對(duì)應(yīng)搜索三個(gè)過程，在數(shù)據(jù)融合處理過程中使用 IMU 信息進(jìn)行手部運(yùn)動(dòng)預(yù)測，再利用視覺信息進(jìn)行校正，然后對(duì)手部作解剖約束進(jìn)行校正。由于使用視覺慣性融合對(duì)關(guān)節(jié)段的運(yùn)動(dòng)相關(guān)狀態(tài)進(jìn)行實(shí)時(shí)校準(zhǔn)和自動(dòng)校準(zhǔn)， 與其他系統(tǒng)相比，該研究設(shè)計(jì)的 VIST 系統(tǒng)可以顯著提高跟蹤精度和用戶便利性。

VIST 算法的高魯棒性

另外，研究人員也定量評(píng)估了 VIST 系統(tǒng)在自由運(yùn)動(dòng)、對(duì)象交互和佩戴指尖皮膚觸覺設(shè)備（CHD）的情況下的性能和穩(wěn)健性。

每個(gè)實(shí)驗(yàn)招募了 15 名參與者，每位參與者被指示坐在一張被 MOCAP 攝像機(jī)包圍的桌子前，并復(fù)制監(jiān)視器中隨機(jī)顯示的手部配置。

圖 | 自由運(yùn)動(dòng)跟蹤定量評(píng)估的測試設(shè)置和結(jié)果（來源：該論文）

由于 VIST 跟蹤利用了視覺信息和手部參數(shù)的自動(dòng)校準(zhǔn)，對(duì)手部大小的可變性不敏感。研究人員通過實(shí)驗(yàn)觀察發(fā)現(xiàn)，VIST 算法對(duì)遮擋具有良好的魯棒性，即使可見標(biāo)記相當(dāng)少，其平均誤差也僅略微增加。 研究人員構(gòu)建了 8 個(gè)日常對(duì)象的圖像數(shù)據(jù)集，每個(gè)對(duì)象有 100 張不同手部姿勢的圖像，以此來定量評(píng)估 VIST 系統(tǒng)在對(duì)象交互和佩戴指尖皮膚觸覺裝置上的應(yīng)用，從而評(píng)估其對(duì)嚴(yán)重閉塞、磁干擾和機(jī)械接觸的魯棒性。以往的研究表明，人類無法檢測到 VR 中 50 毫米以下的食指尖跟蹤誤差，而且人類無法基于本體感覺區(qū)分 1.7 度以下的食指關(guān)節(jié)角度誤差。

研究發(fā)現(xiàn)， 該研究設(shè)計(jì)的 VIST 系統(tǒng)可能允許用戶根據(jù)真實(shí)的手準(zhǔn)確地感知渲染的手，且優(yōu)于一些最先進(jìn)的基于視覺的算法對(duì)于自由運(yùn)動(dòng)的跟蹤，該 VIST 算法的平均誤差僅為 10.69 mm。 

圖 | 對(duì)視覺復(fù)雜背景的定性評(píng)價(jià)（來源：該論文）

研究發(fā)現(xiàn)，VIST 系統(tǒng)在使用手鉆、便攜風(fēng)扇、耳機(jī)殼、CHDs 等含有鐵磁材料或內(nèi)部電流的設(shè)備時(shí)，不僅可以保持跟蹤穩(wěn)定性，還可以保持其準(zhǔn)確性。 

圖 | 操作工具時(shí)跟蹤手勢（在工廠中，操作一些工具時(shí)的手勢跟蹤是非常具有挑戰(zhàn)性的）

VIST 系統(tǒng)在真實(shí)場景中具有強(qiáng)穩(wěn)健性

研究人員在真實(shí)場景中對(duì) VIST 系統(tǒng)進(jìn)行了一些具有挑戰(zhàn)性定性測試，在背景中使用彩色物體（雜志、水果和文具）和一幅畫（阿爾勒的臥室），在視覺上與手套標(biāo)記具有相似的顏色/圖案。 

研究表明，盡管存在視覺上對(duì)抗的物體和背景，該系統(tǒng)仍可以穩(wěn)健地跟蹤手部運(yùn)動(dòng)。

圖｜各種閉塞的定性評(píng)估（來源：該論文）

此外，通過 IMU 輔助的對(duì)應(yīng)搜索，可以將標(biāo)記觀察結(jié)果與手套上的真實(shí)匿名標(biāo)記進(jìn)行穩(wěn)健匹配，同時(shí)有效地消除異常值，從而即使在視覺復(fù)雜的對(duì)象和背景下，也能表現(xiàn)出穩(wěn)定的跟蹤性能。研究人員還在戶外對(duì) VIST系統(tǒng)的性能進(jìn)行了測試。 實(shí)驗(yàn)表明，VIST系統(tǒng)可以在戶外穩(wěn)健地跟蹤手部運(yùn)動(dòng)，而這一點(diǎn)對(duì)大多數(shù)現(xiàn)有的系統(tǒng)來說是相當(dāng)困難的。

戶外實(shí)驗(yàn)不僅驗(yàn)證了 VIST 系統(tǒng)在硬件和算法方面的完全可移植性，也驗(yàn)證了它在戶外場景的應(yīng)用中具有可行性。 

圖 | VIST 系統(tǒng)戶外性能測試

通過定量和定性的評(píng)估，研究發(fā)現(xiàn) VIST 系統(tǒng)在具有挑戰(zhàn)性的真實(shí)世界場景中運(yùn)行穩(wěn)健且性能高，尤其是 VIST 架構(gòu)能夠與具有手的大小和形狀變化的不同物體進(jìn)行互動(dòng)。VIST 系統(tǒng)規(guī)避了基于視覺的系統(tǒng)的基本問題，在處理閉塞、泛化和緩慢的更新中均具有優(yōu)越性，克服了IMU/compass-可穿戴系統(tǒng)的漂移或磁干擾問題，通過利用視覺信息與解剖學(xué)約束相結(jié)合，還克服了軟傳感器可穿戴系統(tǒng)的未建模接觸問題。通過融合視覺和慣性傳感器在 TC 融合中的互補(bǔ)性， VIST 系統(tǒng)解決了現(xiàn)有手部跟蹤系統(tǒng)的基本約束，這對(duì)于正確解決手部跟蹤的特殊性至關(guān)重要。

圖 | VR 觸覺操作中的手部跟蹤結(jié)果

研究人員表示， VIST 系統(tǒng)的強(qiáng)大手部跟蹤性能可能會(huì)促使其獲得更廣泛的應(yīng)用，解決現(xiàn)有方法所無法企及的各種現(xiàn)實(shí)世界的應(yīng)用場景，例如醫(yī)療康復(fù)的日常監(jiān)測和工具操作技能評(píng)估等。 

參考資料：https://www.science.org/doi/10.1126/scirobotics.abe1315 

本文來自微信公眾號(hào) “學(xué)術(shù)頭條”（ID：SciTouTiao），作者：XT，36氪經(jīng)授權(quán)發(fā)布。