Cloud computing and Bigdata

Hadoop-2.3.0學習(6)——MapReduce效能調優

一個程式完成基本的功能是還不夠的,還有一些具有實際意義的問題需要解決,比如效能是不是足夠好、有沒有足夠的空間等。 前面都是MapReduce程式的基本實現,現在要來簡單介紹一下提高效能的方法。 輸入採用大檔案 對於同樣10G的檔案總量,MapReduce一次性處理一個10G大檔案的時間是要少於處理1 […]

Openstack學習筆記(二)——邏輯概念模型與邏輯模組劃分

一、邏輯概念模型 Nova雲管理平臺的主要功能均是圍繞幾個關鍵的概念模型進行管理的,如下圖所示: 理解一下這個概念模型: 使用者(Users)即租戶,每個租戶是通過專案管理自有云資源的,通過專案的方式實現業務方面的分類管理,如對於軟體研發團隊而言,開發、測試環境分別可以用不同專案實現資源的管理。 映 […]

Hadoop-2.3.0學習(2)——Wordcount的執行以及遇到的問題

時間緊迫,直接開始啦! 第一步:啟動hadoop-2.3.0 這裡有必要說明一下,hadoop-2.x的架構和0.x以及1.x都大有不同,其中的命令也有所不同,有時間將會專門寫一篇命令的。 然後使用jps檢查一下,這都是老生常談了。 第二步:建立好檔案 《笨方法學python》裡有一個很好的學習思想 […]