您的位置：首頁 > 智能 >

魔法一樣隔空在屏幕寫字，捏起手指就能實現(xiàn)，在線可玩

來源：36氪 ? 2021-10-19 19:05:19

空中畫符的中二技能，誰不想擁有呢？

不如捏一只萬能的AI來當(dāng)魔法畫筆吧。

這是一個用來寫寫畫畫的手部跟蹤程序，開發(fā)者將它命名為YoHa（Your Hand Tracking）。

這個程序基于TensorFlow.js實現(xiàn)了實時識別功能，能達到不卡頓、無延遲的效果。

捏起手指就可以變成畫筆，清空畫布也只需握拳就能辦到。

用YoHa給自己畫特效的效果這么好，難怪可以獲得555顆星。

這只AI怎么玩？

這款手勢識別程序已經(jīng)開源，開發(fā)者Benjamin大方地提供給了所有人使用“魔法”的機會。

既可以安裝在自己的電腦上來玩，一行代碼就能輕松實現(xiàn)。

npm install @handtracking.io/yoha

也可以在線試玩，直接用網(wǎng)頁下載模型寫寫畫畫。

雖然YoHa目前只能對捏手指和握拳兩個指令動作做出功能響應(yīng)，但是因為有TensorFlow.js加持，它的性能可一點都不低。

21個手部關(guān)節(jié)定位，左右手方向檢測，手部姿勢檢測等都可以實時實現(xiàn)。

來看看“買家秀”是不是也一樣秀。

原來成為不了法師只是因為符文畫太丑

如此好玩的AI背后，究竟是什么原理呢？

YoHa模型使用TensorFlow.js深度學(xué)習(xí)框架來進行從頭訓(xùn)練，開發(fā)過程包含了訓(xùn)練步驟和推理步驟兩大部分。

它的模型訓(xùn)練階段利用了自定義神經(jīng)網(wǎng)絡(luò)，以自定義數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，而在線實時推理則用到了TensorFlow.js推理框架。

不過，因為TensorFlow.js規(guī)模的限制，比起電腦，YoHa在移動設(shè)備上的表現(xiàn)較差。

另外，YoHa的本地運行速度也比在線試玩快很多，果然馴服AI還是得先帶回家里養(yǎng)。

YoHa的開發(fā)者Benjamin提到，制作這個項目一開始是為了增加網(wǎng)絡(luò)的互動性：

“現(xiàn)有的解決方案沒有我想要的，所以我給自己創(chuàng)建了新的解決方案”

不愧是動手能力強的大佬，沒有自己想要的，那就自己造一個。

手勢識別這么火，干脆多開發(fā)一些玩法，添加更豐富的功能讓VR/AR更好玩。

針對之前提到的YoHa性能缺陷，Benjamin也給玩家提供了高性能備選方案：通用手勢識別模型MediaPipe。

如果高端玩家對性能有更高追求，可以在這個經(jīng)典模型基礎(chǔ)上進行功能擴展。

比如不久前以MediaPipe為基礎(chǔ)開發(fā)的類似項目air-drawing，在玩法上和YoHa稍有不同。

感興趣的話，自己去馴服一只AI來寫字畫畫吧。

GitHub地址：

https://github.com/handtracking-io/yoha

試玩地址：

https://handtracking.io/draw_demo/https://loicmagne.github.io/air-drawing/

本文來自微信公眾號“量子位”（ID:QbitAI），作者：興坤，36氪經(jīng)授權(quán)發(fā)布。