在這個看臉的時代,拓幻科技帶你看faceu b612背後的實時美顏貼紙濾鏡技術. . .

在這個看臉的時代,拓幻科技帶你看faceu b612背後的實時美顏貼紙濾鏡技術. . .

在這個看臉的時代,不管是拍照還是直播,不管是網紅還是普通大學生,都會很自然的使用Faceu,B612這類美顏相機或是映客,花椒直播的美顏,濾鏡等功能。它們又是怎麼辨別人臉,和讓你的臉蛋變瘦,變白,以及跟隨趣味貼紙的呢?

N多年前,大家拍完照片是秀圖,一鍵美化,這個時代,我們能夠做到的是實時拍攝就進行人像美化。在這背後,不僅是影象處理技術的迭代,也是與AI人工智慧技術的結合。

圖1 AI 提供的技術基石也是影象處理不可或缺的一部分

作為人像美化背後的技術,AI又是怎麼發揮自己的作用呢?首先,人像美化最重要的一部是需要進行人臉檢測和追蹤。人臉檢測和人臉追蹤,都是需要AI提供底層技術框架的。機器學習識別物體是基於畫素特徵的,人臉檢測又是這個原理。我們會蒐集大量的影象素材,再選擇一個演算法,使用這個演算法來解析資料、從中學習,然後對真實世界中的事件做出決策和預測。識別出人臉之後,我們需要進行跟蹤,跟蹤演算法也是基於人臉特徵點基於深度學習框架進行跟蹤。特徵點的個數,位置當然是各家有所不同。基礎演算法,也是有所不同。

圖2 人臉關鍵特徵點示意圖

具體演算法舉例,一是 HOG 演算法,二是 LBF 特徵演算法。 其中LBF 是 OpenCV 的,它是開源的,但是它在移動平臺上效果很差,沒有辦法達到我們要的效果。但是,它裡面包含了各種各樣影象處理功能,比如說人臉識別、物體識別等等。基於深度學習的話,是有不少開源框架,比如 Caffe、TensorFlow。基於這些構建深度學習網路的工具,構建深度學習網路,比如CNN、RNN等。

說完AI為人像美化技術提供的堅實基礎後,就是基於這些資訊,進行AR渲染。利用OpenGL ES以及著色器shader技術可以實現大眼瘦臉等功能,以及貼紙的渲染。OpenGL ES可以跨平臺使用,並且有大量現成的開源庫。比如像GPUImage,grafika等等。

圖3 貼紙以及全域性美顏示意圖

在美顏當中其實也是分為全域性美顏和人臉區域性美顏的。所謂全域性美顏,即是不需要進行人臉捕捉追蹤即可進行的美顏,比如美白,磨皮,濾鏡等等。區域性美顏,就是需要根據人臉來進行的,比如大眼,瘦臉,貼紙等。

傳統美顏演算法就是編寫程式模仿ps磨皮操作,而升級版的美顏。美白演算法可以是基於簡單的RGBA調色,也可是特定演算法。磨皮演算法可以基於高斯模糊,或者雙邊濾波演算法。其中如果單單使用高斯模糊來磨皮,得到的效果是不盡人意的。原因在於,高斯模糊只考慮了畫素間的距離關係,沒有考慮到畫素值本身之間的差異。舉個例子來講,頭髮與人臉分界處(顏色差異很大,黑色與人面板的顏色),如果採用高斯模糊則這個邊緣也會模糊掉,這顯然不是我們希望看到的。而雙邊濾波則考慮到了顏色的差異,它的畫素點取值也是周邊畫素點的加權平均,而且權重也是高斯函式。不同的是,這個權重不僅與畫素間距離有關,還與畫素值本身的差異有關,具體講是,畫素值差異越小,權重越大,也是這個特性讓它具有了保持邊緣的特性,因此它是一個很好的磨皮工具。

圖4 磨皮效果示意圖

市面上大部分產品,比如B612,美圖,faceu等,他們的人臉追蹤技術大多都是使用第三方技術,比如商湯科技,ULSee等。花椒映客美拍等也會提供他們的全域性美顏sdk。我們拓幻科技,也是提供此類SDK,不過我們也研發出和商湯科技,ULSee同等級別的人臉追蹤技術,所以我們是完全依賴於自己的技術進行全域性,區域性美顏,濾鏡,換臉,換背景SDK的技術提供商哦,歡迎聯絡小編,檢視我們的demo效果,也可在官網進行下載或者搜尋我們官方微信公眾號:拓幻科技進行下載。

目前此篇針對於貼紙,濾鏡,美顏等技術,現在所流行的還有3D AR模型類特效,它們又是怎麼實現的呢,下一篇我們繼續為各位講解。