從零搭建Hadoop叢集 四
偷個懶 ^_^ Combiner： Combiner號稱是本地的Reducer，Map後的資料先到Combiner，處理後再最終輸入Reducer。 所以，上文的Combiner的Class就不能設定成和Reducer是一樣的。
hadoop
淺談雲端計算和大資料技術
淺談雲端計算和大資料技術 背景： 隨著計算機技術的發展，資料量日益增長，現有技術也很難滿足業務的發展需求，在程式碼的層層迭代和優化之後，還是很難滿足資料的增長需求，迫切需要一項新的技術來從事資料計算，因為就產生了雲端計算和大資料這些技術，那麼在此背景下，簡單介紹一下我對雲端計算和大資料技術的理解。 […]
阿里百萬年薪大資料分析師分析大資料十大發展趨勢
雖然大資料市場將會繼續增長這一點毋庸置疑，但企業應該如何應用大資料呢？目前還沒有一個清楚的答案。新的大資料技術正在進入市場，而一些舊技術的使用還在繼續增長。本文涵蓋大資料未來發展的十大趨勢，這些趨勢可能對2019年及以後的大資料市場產生極大影響。 專家預計，機器學習、預測分析、物聯網和邊緣計算將對2 […]
- 2018.08.03
- hadoop, yarnhadoop, 大資料學習之路,
YARN體系學習筆記
一、基本組成結構 1. ResourceManager 負責對各個NodeManager 上的資源進行統一管理和排程。包含兩個元件： * Scheduler：排程器根據容量、佇列等限制條件（如每個佇列分配一定的資源，最多執行一定數量的作業等），將系統中的資源分配給各個正在執行的應用程式 * Appl […]
Hadoop分散式叢集搭建
題記：期間遇到了好多問題（不僅僅是為了搭建hadoop叢集），自己對linux作業系統還真挺感興趣的，稍微有些遺漏，總結下。 軟體準備 三臺伺服器：CentOS7 64位、Ubuntu14.04.5 32位、Debian9.2.1 64位 可以到開源映象網站下載，網易（mirrors.163.com […]
hadoop2.7.3搭建
實驗環境中搭建hadoop叢集（3臺示例） 1.修改主機名、修改hosts vi /etc/sysconfig/network，然後將HOSTNAME修改成hadoop-node1（自定義） vi /etc/hosts ，新增hostname及其對應的ip 2.安裝jdk和配置環境變數 2.1j […]
HDFS中hsync方法介紹
HDFS中hsync方法介紹 原創文章，轉載請註明：部落格園aprogramer 原文連結：HDFS中hsync方法介紹 1. 背景介紹 HDFS在寫資料務必要保證資料的一致性與永續性，從HDFS最初的版本到2.0版本HDFS提供了兩種同步語義。 1. 將client端寫入的資料刷到每個Data […]
Hadoop 2.6 MapReduce執行原理詳解
轉自：https://www.cnblogs.com/yangsy0915/p/5559969.html Hadoop 2.6 MapReduce執行原理詳解 市面上的hadoop權威指南一類的都是老版本的書籍了，索性學習並翻譯了下最新版的Hadoop:The Definitive Guide, […]
Hive和HBase區別
Hive VS HBase Hive是建立在Hadoop之上為了減少MapReduce jobs編寫工作的批處理系統，HBase是為了支援彌補Hadoop對實時操作的缺陷的專案 。 想象你在操作RMDB資料庫，如果是全表掃描，就用Hive Hadoop,如果是索引訪問，就用HBase Hadoop […]
我理解的雲端計算與大資料
剛接觸雲沒多久，這裡針對當前的雲概念，提出自己的個人看法，每個人都有自己的見解與抉擇，不喜勿噴~~ 首先，大家都知道根據雲層次不同，主要分為以下三層 SAAS：software as a service，即軟體作為一種服務提供給使用者 PAAS：platform as a service，即平臺作為 […]