?剛剛，救治林志穎的林口長庚醫(yī)院公布了他的面部手術(shù)方案，其中一項(xiàng)3D人臉重建技術(shù)或?qū)⒄人纳裣深佒担?/p>

7月22日，林志穎在駕駛特斯拉ModelX時(shí)發(fā)生車禍，據(jù)報(bào)道，事故造成林志穎顏面骨折、肱骨粉碎性骨折……

曾經(jīng)擁有不老容顏的他，現(xiàn)在可能面臨「毀容」風(fēng)險(xiǎn)，不少網(wǎng)友感慨，時(shí)間都帶不走的東西，卻被命運(yùn)帶走了。

(資料圖片)

不過今年一項(xiàng)3D人臉重建技術(shù)的出現(xiàn)，或許可以讓亞洲小旋風(fēng)重獲受傷前的神顏。

圖源：林志穎Facebook

據(jù)報(bào)道，本次林志穎的面部重建方案已經(jīng)出爐，簡單來說就是鈦合金植入加面部重建。

圖源：聯(lián)合報(bào)

由于小志這次顏面部存在粉碎性骨折，面部一部分較大的骨骼通過鈦合金植入。

畢竟骨頭都碎了，總要有個支架，把余下的骨骼都連接起來。

而另一部分較精細(xì)的骨骼將通過3D打印重建，重建后的骨骼與肌體接觸后，骨細(xì)胞可以附著生長進(jìn)去，從而將植入物與骨骼融為一體。

是不是聽起來有點(diǎn)滲人。

但其實(shí)這項(xiàng)技術(shù)在國外已經(jīng)得到了成熟的發(fā)展，根據(jù)醫(yī)生的描述，這次面部重建手術(shù)只需10個小時(shí)就能完成。

近年來，隨著深度學(xué)習(xí)和圖像處理單元的不斷發(fā)展，3D人臉重建技術(shù)也逐漸成熟。

它可以通過人臉2D的圖像，有效還原人臉的3D信息，包括人臉幾何重建與紋理重建等。

過去五年里，深度學(xué)習(xí)領(lǐng)域關(guān)注3D人臉重建的論文和學(xué)者也越來越多。

那么，這項(xiàng)化腐朽為神奇的換臉大法究竟是啥樣呢？

謎底馬上揭曉~

人臉怎么3D重建

優(yōu)秀的技術(shù)和有價(jià)值的成果，自然是離不開高性能硬件的支持！

3D人臉重建研究取得良好的進(jìn)展主要也是依賴于多核CPU、GPU、AWS等云應(yīng)用的可用性。

通常，3D數(shù)據(jù)會用體素、點(diǎn)云或GPU可以處理的3D網(wǎng)格進(jìn)行表示。

接下來我們簡單了解一下3D人臉重建的不同類別。

3DMM

3DMM是較為基礎(chǔ)的、一種人臉外觀和形狀的生成模型。所有要生成的人臉都是密集的點(diǎn)對點(diǎn)對應(yīng)。它的核心思想就是人臉可以在三維空間中進(jìn)行一一匹配。

基于3DMM求解3D人臉要解決的問題就是完成對紋理、表情等系數(shù)的估計(jì)，它還側(cè)重于將面部顏色和形狀與其他因素（例如照明，亮度，對比度等）分開。

拿BFM來說，它是一個公開可用的3DMM模型，該模型用ICP和PCA得到的掃描人臉對應(yīng)的模板網(wǎng)格來構(gòu)建模型。

下圖顯示了近20年來3DMM的逐步改進(jìn)。

基于深度學(xué)習(xí)的3D重建技術(shù)

3DGAN和3DCNN是基于深度學(xué)習(xí)的三維人臉重建技術(shù)。

這些方法的主要優(yōu)點(diǎn)是保真度高，在精度方面有較好的性能。不過，訓(xùn)練GAN依舊要花費(fèi)大量的時(shí)間，而且很難進(jìn)行，所以應(yīng)用到實(shí)時(shí)3D人臉解決方案還是很困難的。

3D人臉重建當(dāng)然不止這兩個類別，小編在此就不一一展開了。

那么在人臉重建過程中，最重要的性能指標(biāo)是MAE、MSE、NME、RMSE和對抗損失。

應(yīng)用

面部木偶、視頻配音和虛擬化妝等都是3D人臉重建技術(shù)中一些比較火的應(yīng)用。

游戲和電影工業(yè)在基于視頻的面部動畫中使用面部木偶。具體操作是通過視頻流將用戶的表情和情緒傳遞給目標(biāo)人物。此外，當(dāng)藝術(shù)家為電影中的動畫角色配音時(shí)，3D面部重建可以幫助藝術(shù)家將表情傳遞給角色。

再比如虛擬妝容，它在網(wǎng)絡(luò)會議和視頻聊天等平臺上常被使用。

它包括數(shù)字圖像的變化，如使用合適的顏色的口紅，口罩等。

看下邊的這個例子，合成的虛擬紋身，它可以根據(jù)面部表情進(jìn)行調(diào)整。

3D人臉重建的應(yīng)用還有很多很多，比如面部置換、人臉老化等等，這些技術(shù)極大地豐富了我們的日常生活。

林志穎的此次事故令無數(shù)人揪心，好在可以進(jìn)行臉部3D重建。這項(xiàng)技術(shù)是否能讓「亞洲小旋風(fēng)」重回受傷前的神顏呢？讓我們耐心等待。

參考資料：

https://link.springer.com/article/10.1007/s11831-021-09705-4

本文來自微信公眾號“新智元”（ID:AI_era），編輯：Joey 如願，新智元報(bào)道，36氪經(jīng)授權(quán)發(fā)布。