NO IMAGE

640?wx_fmt=png&wxfrom=5&wx_lazy=1

來源:將門創投

概要:隨著現代智慧手機技術的發展,幾乎所有的手機都配備了攝像頭、陀螺儀和加速度感測器,硬體的進步幫助SLAM技術得到更廣泛的傳播和應用。

在過去的一年裡,虛擬現實技術(Virtual Reality,簡稱VR)和增強現實技術(Augmented Reality,簡稱 AR)都取得了令人印象深刻的進步。藝術與技術的關係是非常微妙的,每一次科技的革命或多或少都會給藝術帶來一些變化。

藝術求善、求美,是感性、意志的寫照,技術為藝術提供了形式多樣的表現感覺。攝影機為人類帶來了電影的藝術形式,AR同樣也會激發出更多充滿創造力的藝術表現形式。

Facebook的應用機器學習(Applied Machine Learning, AML)團隊將人工智慧的最新研究成果轉化到新產品中,並將Oculus計算機視覺部門早期完成的工作用到大規模構建和部署SLAM中。

0?wx_fmt=png

想象一下,你可以在當地的公園四處漫步,就能看到那些滅絕的動物和恐龍龍;你也可以隨處開啟一扇“任意門”,一座繁華的城市就會出現在眼前;你還可以在房間裡面建造自己的城堡,肆意塗鴉。

諸多類似的情景將不再只是腦中的幻想或科幻小說中的神奇世界,Facebook現在正通過手機上的相機APP,藉助增強現實的力量,改變人們看待周圍世界的方式。

要實現這一目標,不僅需要實時建立並更新周圍環境的地圖,還需要準確地估計手機相機相對於該地圖的位置和方向。這種技術一直以來是計算機視覺和機器人研究領域中的一項重大挑戰,也就是實時定位和構圖 (Simultaneous Localization and Mapping ,簡稱SLAM)。

為了實現在移動裝置上執行SLAM,研究人員已經花費了40多年的時間。 SLAM技術最早可追溯到1986年,Smith的系列論文《空間位置的表達與估計》,研究和解決未知環境中的機器人導航問題。但早期的SLAM往往依賴價格昂貴或專門定製的感測器,例如鐳射雷達,聲吶或立體相機,這項技術並未走入市場。

隨著現代智慧手機技術的發展,幾乎所有的手機都配備了攝像頭、陀螺儀和加速度感測器,硬體的進步幫助SLAM技術得到更廣泛的傳播和應用。

今天,SLAM不僅可用於增強現實技術,而且還適用於其他場景,包括無人駕駛汽車、家庭服務機器人和微創手術機器人等。為了開發出實現虛擬資訊和真實世界間的無縫連線的AR工具,Facebook的工程師們在以下三個方面進行了很多努力和嘗試,最終推出了高效能的移動端開發工具和程式碼庫。


1、種類繁多的移動裝置需量身定製

Facebook平臺提供的SLAM庫整合了多種演算法,包括ORB-SLAM,SVO和LSD SLAM,並基於最新的技術對庫做了效能優化。但要想在移動裝置上輕鬆地實現頻率60Hz的SLAM系統是非常困難的。

首先,手機每隔16毫秒就捕捉一次影象;其次,影象中提取到的特徵點數量將達到數百個,且還要將它們與前一幀中的特徵點進行匹配;最後,使用三角測量法來計算出每個點在3D空間中的對應位置。如此繁多的步驟,必然會耗費大量的處理時間。因而對系統做細緻的優化工作就十分必要,得思考這些演算法如何執行才能更高效。

除此之外,Facebook生態系統中的移動裝置種類十分繁多,從具有高質量相機的高階手機(例如iPhoneX,Pixel 2 XL)到計算能力和資源非常有限的舊裝置。每種型號對應的相機校準模型都具有不同的焦距、主點和失真引數。因而會導致嚴重的相容性問題,務必要確保SLAM系統可以向下相容。只有確保每一個引數真實有效,才能以亞畫素的精度將3D點準確地投射到相機空間。

此外,移動裝置通常配備的是具有自動對焦和自動曝光功能的捲簾式相機,隨著相機聚焦的物體的遠近變化,校準也會發生變化。

除相機以外,時常會新增IMU(慣性測量單元,用於感知裝置的加速度和旋轉)來輔助定位。將視覺與IMU融合可以減小低動態時IMU的誤差累積,IMU則可以減小高動態時視覺的誤差。同時IMU的角速度可以解決單目SLAM的二義性,加速度還可以提供重力方向參考,解決單目VO的尺度問題。IMU感測器使用前也需要校準,並要與相機進行時鐘同步。

我們在優化每個模型的時候,都會先從粗調開始,再進行微調,確保最後配置的SLAM系統是最優且高效的。

2、應用程式需要及時瘦身

在Android或iOS的應用程式商店中,Facebook的App算是很複雜的應用程式了。Facebook正在努力為應用程式不斷新增令人興奮的新功能的同時,保持了應用所需空間的大小。最初的SLAM庫是在Oculus開發的,為了適用不同的案例場景,適用了多個大型開源庫,導致程式大小約為40MB。後來通過保留最小SLAM功能,並使用普通的Facebook庫重構它,將大小降低至1MB以下。

3、追求卓越藝術表現,不斷探索技術新思路

要讓移動AR展現令人注目的藝術色彩,僅依靠SLAM技術是不夠的。去年十一月,我們就開始了第一次探索,利用SLAM技術將場景中的物體進行三維重構,並將喜愛的3D藝術投影到它的表面上,結果引起了強烈反響。

之後,為改善使用者體驗,實現了人們可以直接通過手勢來控制3D藝術圖案的放置、切換、旋轉、平移、縮放的操作。這種友好的互動方式使得人們可以準確地構成他們期望的作品。不僅如此,還可以對場景加以分析,讓程式可以自動識別特定的位置來放置AR內容,對物體的幾何形狀的提取並計算,也能使虛擬的物體投影到物體表面時看起來更逼真。

當然,SLAM技術也有失敗的時候,比如動態場景中的目標干擾會導致演算法出錯。為此,我們將SLAM與多個跟蹤演算法結合,不同演算法之間採用umbrella 互動協議,將之命名為WorldTracker API。SLAM主要使用點或者線特徵來估計場景幾何,而目標跟蹤演算法主要是基於目標的外觀,對特定畫素區域的外觀進行追蹤。SLAM在靜態場景中更有優勢,而基於外觀的跟蹤器對場景中的動態變化更為魯棒。

當前版本的World Tracker中包含了SLAM和基於視覺與陀螺儀增強的跟蹤器,保證了當出現影象畫素運動模糊或紋理少的表面也能估計出準確的運動。演算法會根據移動裝置的硬體效能和演算法結果的準確性來切換SLAM和跟蹤器,兩者互相補充、相互協調。

0?wx_fmt=jpeg

那麼Facebook的Slam技術到底表現如何呢?我們來看看展示AR與藝術結合創造出美妙的Demo。

Facebook邀請著名藝術家Heather Day到門洛帕克校區,來共同完成首個以AR技術驅動藝術表現的專案。

0?wx_fmt=jpeg

首先,應用機器學習團隊會通過相機捕捉Heather任意時刻的動作,包括倒油漆,刷畫筆,畫圖或製作任何圖案,並將記錄下的動作新增到數字庫中,最終的藝術作品將在虛擬世界中完成。

隨後,應用機器學習團隊還與Heather商議確定動畫師需要的影象,以及動作,豐富AR的內容。最後,利用定位技術和場景幾何分析,將Heather的虛擬藝術作品完美的投影到真實世界並展示。

0?wx_fmt=jpeg

在今年的F8開發者大會上,觀眾們欣賞到了Heather的藝術作品,隨著音樂的節奏,像瀑布一樣從牆上流到地面,栩栩如生,美麗動人。同樣的,只要開啟手機攝像頭,並開啟 Facebook的App,你可以在任意時間任意地點欣賞到Heather的作品。SLAM技術和創造性思維,讓我們見識技術與藝術如何交織在一起,徹底消除了科學與藝術之間、虛擬與現實之間的界限。

未來的發展方向

AR為我們提供了無數種新的方式來更好的認識、體驗和感受世界。儘管我們已經在增強現實技術的發展道路了邁進了一大步,但是路漫漫其修遠兮,仍需上下而求索。下一步目標便是再次基礎上不斷優化改進,以實現更好的地理定位技術和持久使用者體驗,不斷開發出像Demo所展現出的AR應用。

隨著機器學習和深度學習的發展,虛擬資訊可以“理解”真實世界,讓二者的融合更趨於自然,目前正在探索如何結合深度神經網路和Caffe2的力量來建立更完整的SLAM地圖,處理動態目標,新增語義資訊,並實現與Facebook生態系統高度結合的持久AR體驗,以實現科幻電影般身臨其境的效果。

虛擬資訊將成為我們現實生活的一部分,將這些資料與資訊以人類理解的自然方式和真實世界連線起來,構建虛擬的數字生態圈,豐富人類的未來生活,是我們共同的願景,這也會是一場全新的認知革命。

未來智慧實驗室是人工智慧學家與科學院相關機構聯合成立的人工智慧,網際網路和腦科學交叉研究機構。由網際網路進化論作者,計算機博士劉鋒與中國科學院虛擬經濟與資料科學研究中心石勇、劉穎教授建立。

未來智慧實驗室的主要工作包括:建立AI智慧系統智商評測體系,開展世界人工智慧智商評測;開展網際網路(城市)雲腦研究計劃,構建網際網路(城市)雲腦技術和企業圖譜,為提升企業,行業與城市的智慧水平服務。

如果您對實驗室的研究感興趣,歡迎支援和加入我們。掃描以下二維碼或點選本文左下角“閱讀原文”

640?wx_fmt=png