阿里百萬年薪大資料分析師分析大資料十大發展趨勢

雖然大資料市場將會繼續增長這一點毋庸置疑,但企業應該如何應用大資料呢?目前還沒有一個清楚的答案。新的大資料技術正在進入市場,而一些舊技術的使用還在繼續增長。本文涵蓋大資料未來發展的十大趨勢,這些趨勢可能對2019年及以後的大資料市場產生極大影響。

專家預計,機器學習、預測分析、物聯網和邊緣計算將對2019年及以後的大資料專案產生深遠影響。

1、開放原始碼

Apache Hadoop、Spark等開源應用程式已經在大資料領域佔據了主導地位。一項調查發現,預計到今年年底,近60%企業的Hadoop叢集將投入生產。佛瑞斯特的研究顯示,Hadoop的使用率正以每年32.9%的速度增長。

專家表示,2018年許多企業將繼續擴大他們的Hadoop和NoSQL技術應用,並尋找方法來提高處理大資料的速度。

2、記憶體技術

很多公司正試圖加速大資料處理過程,它們採用的一項技術就是記憶體技術。在傳統資料庫中,資料儲存在配備有硬碟驅動器或固態驅動器(SSD)的儲存系統中。而現代記憶體技術將資料儲存在RAM中,這樣大大提高了資料儲存的速度。佛瑞斯特研究的報告中預測,記憶體資料架構每年將增長29.2%。

目前,有很多企業提供記憶體資料庫技術,最著名的有SAP、IBM和Pivotal。

3、機器學習

隨著大資料分析能力的不斷提高,很多企業開始投資機器學習(ML)。機器學習是人工智慧的一項分支,允許計算機在沒有明確編碼的情況下學習新事物。換句話說,就是分析大資料以得出結論。

高德納諮詢公司(Gartner)稱,機器學習是2018年十大戰略技術趨勢之一。它指出,當今最先進的機器學習和人工智慧系統正在超越傳統的基於規則的演算法,建立出能夠理解、學習、預測、適應,甚至可以自主操作的系統。

4、預測分析

預測分析與機器學習密切相關,事實上ML系統通常為預測分析軟體提供動力。在早期大資料分析中,企業通過審查他們的資料來發現過去發生了什麼,後來他們開始使用分析工具來調查這些事情發生的原因。預測分析則更進一步,使用大資料分析預測未來會發生什麼。

普華永道(PwC)2016年調查顯示,目前僅為29%的公司使用預測分析技術,這個數量並不多。同時,許多供應商最近都推出了預測分析工具。隨著企業越來越意識到預測分析工具的強大功能,這一數字在未來幾年可能會出現激增。

5、智慧app

企業使用機器學習和AI技術的另一種方式是建立智慧應用程式。這些應用程式採用大資料分析技術來分析使用者過往的行為,為使用者提供個性化的服務。推薦引擎就是一個大家非常熟悉的例子。

在2018年十大戰略技術趨勢列表中,高德納公司把智慧應用列在了第二位。高德納公司副總裁大衛·希爾裡(David Cearley)說:“未來10年,幾乎每個app,每個應用程式和服務都將一定程度上應用AI。

6、智慧安保

隨著這些新裝置和應用程式上線,許多公司需要新的技術和系統,才能夠處理和感知來自物聯網的大量資料。

許多企業也將大資料分析納入安全戰略。企業的安全日誌資料提供了以往未遂的網路攻擊資訊,企業可以利用這些資料來預測並防止未來可能發生的攻擊,以減少攻擊造成的損失。一些公司正將其安全資訊和事件管理軟體(SIEM)與大資料平臺(如Hadoop)結合起來。還有一些公司選擇向能夠提供大資料分析能力產品的公司求助。

7、物聯網

物聯網也可能對大資料產生相當大的影響。根據IDC 2016年9月的報告,“31.4%的受訪公司推出了物聯網解決方案,另有43%希望在未來12個月內部署物聯網解決方案。”

8、邊緣計算

邊緣計算是一種可以幫助公司處理物聯網大資料的新技術。在邊緣計算中,大資料分析非常接近物聯網裝置和感測器,而不是資料中心或雲。對於企業來說,這種方式的優點顯而易見。因為在網路上流動的資料較少,可以提高網路效能並節省雲端計算成本。它還允許公司刪除過期的和無價值的物聯網資料,從而降低儲存和基礎架構成本。邊緣計算還可以加快分析過程,使決策者能夠更快地洞察情況並採取行動。

9、高薪職業

對於IT工作者來說,大資料的發展意味著大資料技能人才的高需求。IDC稱,“到2018年,美國將有181,000個深度分析崗位,是資料管理和資料解讀相關技能崗位數量的五倍。”

由於人才缺口過大,羅伯特·哈夫技術公司預測,到2017年資料科學家的平均薪資將增長6.5%,年薪在116,000美元到163,500美元之間(當然這是美國的標準,中國國內目前尚未統計)。同樣,明年大資料工程師的薪資也將增長5.8%,在135,000美元到196,000美元之間。

10、自助服務

由於聘請高階專家的成本過高,許多公司開始轉向資料分析工具。IDC先前預測,“視覺資料發現工具的增長速度將比其他商業智慧(BI)市場快2.5倍,到2018年,所有企業都將投資終端使用者自助服務。

一些大資料供應商已經推出了具有“自助服務”能力的大資料分析工具,專家預計這種趨勢將持續到2018年及以後。 資料分析過程中,資訊科技的參與將越來越少,大資料分析將越來越多地融入到所有部門工作人員的工作方式之中。

感謝你的閱讀,如果感覺對你有幫助,你可以關注一下我的微信公眾號,也可以加入我們的大資料家庭群。
微信公眾號:程式設計師OfHome
程式設計師OfHomeQQ群:610535338

11、學習路線