NO IMAGE

想要了解更多的網際網路知識,歡迎加入技術交流群:547147889

越來越多程式設計師也湧入大資料行業,但是仔細問一些從業人員什麼是大資料?鮮有人知道?就算知道的,最常引用Victor的4V理論,大量(Volume),快速(Velocity),種類多(Variety),價值(Value),但究竟多大是大?多快是快?幾種算種類多?每個人都有自己的觀點。最核心的問題還不在數量和種類,而是價值(Value)。什麼是大資料的價值?如何體現它的價值?如何衡量它的價格 ?它能夠變現麼?如何來變現卻是大資料的核心問題。

做大資料的同學,外面看起來像是紅樓夢的大觀園一樣,外表光鮮亮麗,身在其中的人,才知道各有各的無奈。大資料的處理通常分為,資料收集,資料清洗,資料加工。資料應用,資料視覺化。資料收集同學總是抱怨資料來源Garbage in, Garbage out的感覺,資料清洗的同學總有沙裡淘金的感覺,資料加工的同學也經常受兩頭氣,相比來說,做資料視覺化的同學比較幸運,可以找到很多炫酷的感覺,但有不是大資料的主流技術。最難受的是做大資料應用/變現的同學,不得不靠著忽悠行走江湖。

觀點如下:
大資料的資訊熵值低
大資料不是銀彈是螞蟻效應
大資料不解釋因果,更關心相關性
資料資源公司最佳是被收購,最好應用是廣告和泛徵信
大資料是對使用者隱私的汲取
使用者資料無法用過定價來進行資料交易
搞清楚業務,再談大資料也不晚
大資料的價值是真水無香

觀點一 :大資料的資訊熵值低

1948年,夏農提出資訊熵的概念,可以用於表述資訊的價值,資訊熵高的言簡意賅,資訊熵低的冗餘拖沓。目前,很多大資料的來源都是一些系統的Log,圖片,視訊等。特別是日誌系統資料,資料越來越多,越來越大,其中大部分是固定模板的資料,區分度差,資訊量並沒有隨著資料的增加而線性增加。另外舉個例子,之前我們使用膠捲照片的,我們會選擇重要的場景,珍惜每一個照片,設計好角度和光圈,現在有資料相機了,記憶體近乎無限大了,大家肆無忌憚的自拍,哪怕都是同一個角度,大家照的廢片也是一把一把的。同一型別的資料多了,資訊熵也就降低了。

觀點二:大資料不是銀彈,而是螞蟻效應

大資料應用常見,多見於推薦系統,業務流程優化,醫療,效能優化,預測,金融交易等,這些業務在傳統的做法上,已經十分依賴於資料了,雖然以前不叫大資料,但是也都是資料驅動的業務。資料的規模和種類增多,處理方法的增多,會漸漸提高這些應用的精準性,這種提高一定是漸漸的,一點一滴的。也許一天兩天感覺不錯來的,但是經過多年的持續改進,這種效果是顯而易見的。

舉個例來說,語音識別起始於60年代,基於小型詞彙庫,在90年代,IBM推出的ViaVoice是語音識別的一個里程碑,基於複雜隱式馬爾科夫模型(HMM)或者神經網路演算法更加成熟,資料也是基於大量的詞彙庫,語料庫。新聞聯播曾經就是ViaVoice中文版本的重要訓練語庫。雖然用了更大的語料庫,效果有改進,但是還無法達到實用的程度。2009年以後,藉助於網際網路語料庫的進一步豐富,資料料的增長,遠遠超過演算法的改程序度。語音識別在準確性和實用性得到很大的提升,使用者也不斷使用語音識別反饋更多的資料。以至於,谷歌公司人工智慧方面的專家彼得·諾維格(Peter Norvig) ,和他的同事在一篇題為《資料的非理性效果》(The Unreasonable Effectiveness of Data)的文章中寫道,“大資料基礎上的簡單演算法比小資料基礎上的複雜演算法更加有效。”。大資料正在一步一步的解決一些科技應用難題,例如自動駕駛,人工智慧等。

觀點三:大資料不解釋因果關係,只關心相關性

《大資料時代》中定義了大資料的第三個特徵,“不是因果關係,而是相關關係”。沃爾瑪通過資料探勘,發現蛋撻和颶風產品有很多關聯性,並且放在一起銷售提高銷售量。沒有人清楚其中的因果關係,當然,也可能有人牽強的解釋,美國人喜歡颶風時期躲在家裡吃蛋撻,通過資料我們獲得了相關性,但是卻不理解其中因果關係。我突然想起來自於《三體》的降維攻擊:很多時候我們在二維世界的相關性,是無法在二維世界進行解釋因果的,也許只有在三維或者多維世界才能夠解釋因果關係,而這種因果關係無法直接理解,只能進行歸納成相關關係。

觀點四: 大資料資源公司最佳變現是被收購,最直接變現渠道是廣告和泛徵信

很多專業大資料服務公司的發展都不走上市之路(注意不包括大資料技術公司),因為他們對於變現的能力和可持續性都有很多顧慮,他們也面臨高風險的使用者隱私挑戰,因此很多大資料資源公司的PR工作,遠遠多於具體落地的資料服務工作。因此,各個專業大資料公司都忙於各種行業洞察報告和排行榜,資料視覺化的工作一個比一個炫麗,一個比一個追熱點。談到大資料公司的變現,很多公司會提到“資料服務”,實際上資料服務的市場相對穩定,並沒有因為大資料公司的發展而市場膨脹,因此“資料服務”實際上是一個明顯的“僧多粥少”的狀態,另外老牌的資料公司,例如Nielson等在客戶方便還是有一定的優勢。

收購成為大資料公司變現最佳方式,2014年Oracle收購BlueKai獲得很多眾網際網路使用者資料,BlueKai的資料來源於和很多小網站進行資料交換和購買,尼爾森公司收購了DMP公司eXelate,eXelate的資料來源各個合作伙伴的資料,它提供了資料共享和交換的平臺,建立DMP支援廣告優化投放。

既然資料服務不容易攢錢,那麼有沒有靠譜的變現途徑呢?從目前來說,廣告和泛徵信是兩個最有效的變現渠道,效果廣告的精確投放,品牌廣告主需要強烈的資料背書,這些都需要資料服務,因此在廣告行業專業的DMP公司,對於程式化交易是必不可少的。另外,就是徵信系統,金融的本質是一個套信用系統,這就是為什麼各大網際網路公司都早早進入金融業務。目前很多P2P公司是否能夠生存,主要依據就是風險控制,大資料是重要技術支援,因此很多P2P會採購大量資料資源,加強自己的徵信系統。

觀點五:大資料是對使用者隱私的汲取

大資料正在結合智慧裝置的普及而大力推進,例如攝像頭,手機,智慧穿戴設別等。 其中,大量使用者隱私資料被收集,例如使用者地址,交易資料,搜尋資料,使用者的地理位置資訊,使用者的脈搏,聯絡人列表等等。這些都是使用者的個人資料,各大資料公司都通過改善服務為藉口,獲得使用者的授權,而進行隱私的汲取和偷窺。

也有一種聲音,這些資料是為了讓你享受更好的服務。這裡面也是很多邏輯問題。首先,服務商提供更好的服務,並不代表可以收集使用者的隱私資料;其次,很多公司不提供不收集使用者隱私資料的服務的選項,這讓很多使用者無法選擇禁止使用者隱私資料收集,這是一種利用市場地位的壟斷和霸王條款;而後,所有資料公司沒有提供資料清理功能,刪除使用者所有的歷史資料。這意味著,你的隱私資料一旦被收集,可以被無限次的無範圍的濫用。

觀點六: 使用者資料是無法通過定價而進行交換的

大資料採集公司,都有資料變現需求。對於資料採集公司來說,雖然能做一些資料分析和預測,但這些分析服務的費用較少(在成為頂級諮詢公司之前),很難持續公司的正常運作,只能繼續燒錢或者被收購。對於資料採集公司來說,很多人認為資料可以在公開公正公平的資料市場中變現,不少市面上的DMP都提供了一些資料交易平臺,希望資料項商品一些安全,公平的交易.

原因有以下幾個:
1. 大資料的價值無法用價格來衡量:
a)同一份資料對於不同客戶價值不同,不同拷貝後價值也不同。
b)資料定價太低,賣方有注水動機;如果定價太高,買家也難以接受,而且資料包價都是暗拍的。

  1. 使用者資料交易是玩火自焚
    在各種大資料的應用中,使用者的個人資料在很多場景中是最有價值的,這些資料一旦流入到市場或者黑市,社會後果將不堪設想,而且資料洩露者還面臨法律風險,因此資料交易無法在公開的資料交易市場進行。一些脫敏技術可以讓資料難以反追查,但是脫敏技術的尺度把握卻是在人的手上,它很容易引入各種法律風險。

觀點七:大資料的價值是真水無香

滿大街唾沫橫飛的大資料,讓人覺得不懂大資料是一種羞恥。最近面試過好些候選人,做沒做過資料都說想做大資料,而且是非大資料/機器學習不做,問他為什麼要做大資料,所有回答都是這是趨勢,不轉型,寧等死,大資料可以挖掘出很多價值,幫助業務增長,這種感覺很好。

反過頭來,看看工作中搞大資料技術的同學,每天通過指令碼處理成千上萬的資料,每天苦逼的處理各個資料格式,資料清洗,資料加工,資料分類/聚類,好不容易生成一些資料洞察結果,也需要用一大堆指令碼和資料進行二次驗證,包括精準率/召回率。這是一種苦逼,而且需要自己挖掘樂趣的工作。

確實,在一種新的資料洞察或大資料應用出來的時候,確實對於產品的提升很有幫助,為了保持保護這種提升,需要不斷的對於資料進行清理,提高及時性,這種資料的維護工作慢慢會變成大資料工作者的很大一部分工作。這個過程有點像,一個系統的完善性維護工作,佔了軟體開發的很大一部分工作。 這部分資料價值對於產品競爭力的提升也會漸漸平淡,投入產出比越來越低。但是這些完善性維護工作,卻不能停。一旦停止,對於業務會帶來負增長,因此這種維護性的工作會變的越來辛苦。這個時候業務對於資料的以來就像人們對白開水的需求一樣,平時覺得沒有味道,但是缺少的馬上就感到口渴,甚至渴死。

觀點八:搞清楚業務之後,再談大資料也不晚

目前很多行業峰會都沾上“大資料”的光環了,以前的站長大會也變成”自媒體大資料峰會”了,以前的網際網路運營大會也變成”大資料運營峰會”了,以前的軟體研發大會也加入了一個“大資料”分會場了。這是一個大資料唾沫橫飛的世界,一不小心你就參與其中了。

我參加過幾個大資料會議,有很多人是慕名而來(我自己也是其中之一),努力將自己的工作和大資料掛上鉤,搞資料分析的說自己分析的是大資料,搞技術的說自己運用了大資料技術,搞應用的說自己的大資料驅動的業務。最後,誰也不知道大資料是什麼,好像和資料之間沒有太多本質的區別,只是多了一個“大”字而已。

我認為,這不是什麼壞事,無論是使用“資訊化”,“大資料”,“資料時代”,“資料探勘”,“認知計算”,“深度學習”等詞語,只要能夠解決業務的問題,推進社會更加美好,就是一份有意義的工作。無論大資料還是小資料,解決業務問題就是好資料。

想要了解更多的網際網路知識,歡迎加入技術交流群:547147889