hadoop

2/52ページ

淺談雲端計算和大資料技術

淺談雲端計算和大資料技術 背景: 隨著計算機技術的發展,資料量日益增長,現有技術也很難滿足業務的發展需求,在程式碼的層層迭代和優化之後,還是很難滿足資料的增長需求,迫切需要一項新的技術來從事資料計算,因為就產生了雲端計算和大資料這些技術,那麼在此背景下,簡單介紹一下我對雲端計算和大資料技術的理解。 […]

阿里百萬年薪大資料分析師分析大資料十大發展趨勢

雖然大資料市場將會繼續增長這一點毋庸置疑,但企業應該如何應用大資料呢?目前還沒有一個清楚的答案。新的大資料技術正在進入市場,而一些舊技術的使用還在繼續增長。本文涵蓋大資料未來發展的十大趨勢,這些趨勢可能對2019年及以後的大資料市場產生極大影響。 專家預計,機器學習、預測分析、物聯網和邊緣計算將對2 […]

YARN體系學習筆記

一、基本組成結構 1. ResourceManager 負責對各個NodeManager 上的資源進行統一管理和排程。包含兩個元件: * Scheduler:排程器根據容量、佇列等限制條件(如每個佇列分配一定的資源,最多執行一定數量的作業等),將系統中的資源分配給各個正在執行的應用程式 * Appl […]

Hadoop分散式叢集搭建

題記:期間遇到了好多問題(不僅僅是為了搭建hadoop叢集),自己對linux作業系統還真挺感興趣的,稍微有些遺漏,總結下。 軟體準備 三臺伺服器:CentOS7 64位、Ubuntu14.04.5 32位、Debian9.2.1 64位 可以到開源映象網站下載,網易(mirrors.163.com […]

hadoop2.7.3搭建

實驗環境中搭建hadoop叢集(3臺示例) 1.修改主機名、修改hosts vi /etc/sysconfig/network,然後將HOSTNAME修改成hadoop-node1(自定義)   vi /etc/hosts ,新增hostname及其對應的ip 2.安裝jdk和配置環境變數 2.1j […]

Hive和HBase區別

Hive VS HBase Hive是建立在Hadoop之上為了減少MapReduce jobs編寫工作的批處理系統,HBase是為了支援彌補Hadoop對實時操作的缺陷的專案 。 想象你在操作RMDB資料庫,如果是全表掃描,就用Hive Hadoop,如果是索引訪問,就用HBase Hadoop […]