憑一張照片找到視訊中你所有的鏡頭,包括背影丨商湯ECCV 2018論文

NO IMAGE
伊瓢 發自 凹非寺 
量子位 報道 | 公眾號 QbitAI

商湯最近發了一篇ECCV,搞了一個巨大的電影片段資料庫。

別擔心,商湯可不是準備拍電影,而是提出了新的視訊找人方法——也就是,無論一位電影明星演的是青春少女還是白髮老人,無論TA露出了正臉還是側顏,無論影片的鏡頭明亮鮮麗還是灰黃暗淡,AI都能精確的找到TA,TA的正臉、身姿和背影

除了統計電影明星的出鏡率,視訊找人最主要的作用是抓罪犯,比如我國知名除暴安良藝術家張學友老師(的演唱會上的警察用的AI)就十分擅長這個技能。

640?wx_fmt=jpeg

像演唱會這種公共場合,無數攝像頭採集下了現場幾乎所有的場景,而出沒在演唱會的犯罪嫌疑人也難逃一拍,如果AI找到視訊中犯罪嫌疑人的臉,警察叔叔可以當場迅速出動,拿下這名犯罪嫌疑人。

不過,研究人員並不認得那麼多逃犯,也不能從警察叔叔那裡要監控視訊,於是,他們機智的想到了電影明星——建立了一個名為Cast Search in Movies(CSM)的資料集,其中包含來自192部電影1218個演員12.7萬個片段,所有片段的標識都是手動註釋的,並且每個演員身份還附帶參考照片。

640?wx_fmt=png

 請自行辨認CSM資料集裡的他們是誰

資料集中包含每位演員在多部電影裡出演的角色。如果一部電影的角色太多,就只保留10個最主要的角色。

640?wx_fmt=png

整體來看,比較一下其他資料集,CSM至少在數量上十分領先了,還可以執行搜尋任務。

不過,由於資料庫是電影明星和電影中的角色,現代電影工業複雜的服化道系統可能要把這個AI刁難一下了,畢竟,化妝技術可以把30歲的演員變成16歲的小蘿莉,也能變成50歲的老阿姨。

640?wx_fmt=jpeg

 “堅強女主”VS“惡毒貴妃”竟然是同一個人?

所以,要如何保證AI可以識別出這些和真人相貌差別巨大的角色呢?需要用到競爭共識(Competitive Consensus)的方法。

640?wx_fmt=png

上面這張圖,展示了競爭共識和傳統的現行擴散方法在標籤傳播上的差異。

圖中(左側)展示了神經網路的四個節點,旁邊的數字是它們的概率向量。我們需要從左側節點向右側節點傳播標籤,但是還有兩個鄰居節點是噪聲。

右邊是線性擴散和競爭共識的計算過程。可以看到,在噪聲很多的圖中,以傳播最確信資訊為目標的競爭共識更健壯。

競爭共識處理的結果不錯,已有的跨視訊搜尋人物的方法,mAP最高為42.16%,而本篇論文中的新方法將mAP提高到了62.27%。

640?wx_fmt=png

同一演員扮演的角色,無論正面、側面還是反面,無論扮靚還是扮酷,該系統都成功的把他們認了出來。

比如,在《復仇》中飾演Victoria Grayson的女演員瑪德琳·斯托:

640?wx_fmt=png

資料集中,不管是正臉:

640?wx_fmt=png

還是擋臉,都可以識別出來。

640?wx_fmt=png

甚至背影都能認出來。

640?wx_fmt=png

具體效果可以看下面的視訊:

作者

這篇論文的三位作者中,除了大家熟悉的商湯科技聯合創始人林達華大牛之外,一作是林達華的學生,香港中文大學-商湯科技聯合實驗室的博士生黃青虯;二作是商湯科技研究院高階研究員劉文韜。

傳送門

Person Search in Videos with One Portrait Through Visual and Temporal Links
Qingqiu Huang, Wentao Liu, 林達華
arXiv:
https://arxiv.org/abs/1807.10510
github:
https://github.com/hqqasw/person-search-PPCC

不過,資料集的連結目前還是“coming soon”的狀態。

加入社群

量子位AI社群18群開始招募啦,歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話介面回覆關鍵字“交流群”,獲取入群方式;

此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。

進群專業群請在量子位公眾號(QbitAI)對話介面回覆關鍵字“專業群”,獲取入群方式。(專業群稽核較嚴,敬請諒解)

實習生招聘

量子位正在招募活動運營實習生,策劃執行AI明星公司CEO、高管等參與的線上/線下活動,有機會與AI行業大牛直接交流。工作地點在北京中關村。簡歷歡迎投遞到[email protected]

具體細節,請在量子位公眾號(QbitAI)對話介面,回覆“實習生”三個字。

640?wx_fmt=jpeg

量子位 QbitAI · 頭條號簽約作者

վ’ᴗ’ ի 追蹤AI技術和產品新動態