Spark SQL與Hive On MapReduce速度比較
我們都知道Spark比Hadoop的MR計算速度更快。到底快多少呢？我一直比較疑惑，會有官網說的那麼誇張嗎。 今天就拿基於Spark的Spark SQL和基於MR的Hive比較一下，因為Spark SQL也相容了HiveQL，我們就可以通過執行相同的HiveQL語句，比較直觀的看出到底快多少了。 S […]
spark實踐
1/14ページ
- 2018.08.06
- cdh, hive, spark on yarn, spark和, spark實踐,
Spark讀寫Hive
環境：CDH5.8，Spark：1.6.0；Hadoop：2.6.0，Intellij IDEA14 ，jdk1.8，sdk：2.10.6 ，maven：3.3.3； 工程下載地址：https://github.com/fansy1990/spark_hive_source_destination […]
Spark筆記：RDD基本操作（上）
原文連結：http://www.cnblogs.com/sharpxiajun/p/5506822.html 本文主要是講解spark裡RDD的基礎操作。RDD是spark特有的資料模型，談到RDD就會提到什麼彈性分散式資料集，什麼有向無環圖 […]
Spark筆記：RDD基本操作（下）
上一篇裡我提到可以把RDD當作一個陣列，這樣我們在學習spark的API時候很多問題就能很好理解了。上篇文章裡的API也都是基於RDD是陣列的資料模型而進行操作的。 Spark是一個計算框架，是對mapreduce計算框架的改進，mapreduce計算框架是基於鍵值對也就是map […]
- 2018.08.06
- Scala&Spark, spark和, spark實踐, spark混洗, spark目錄,
Spark學習使用筆記 – Scala篇（3）- 對映，元組
對映： def constructMap = { //構造一個不可變Map[String Int] val scores = Map("Alice" -> 10, "aaa" -> 9, "bbb" -> 5) //構造一個可變Map[String,Int] val mscores […]
- 2018.08.03
- sparkxgboost機器學習xgboost train failedgbdt, spark和, spark實踐, spark混洗, spark目錄,
Spark XGBoost的一些問題
在使用Spark版本的xgboost的時候會有一些單機版本遇不到的問題，可能對使用的人造成一些困擾，經過兩週的踩坑，總結一下，希望有幫助 1、輸入、預測資料的一致性 Spark版本的XGBoost處理的輸入可以是RDD或者DataFrame。由於Spark的機制，在沒有顯式指定的情況下，是不會儲存R […]
用Spark和DBSCAN對地理定位資料進行聚類
機器學習，特別是聚類演算法，可以用來確定哪些地理區域經常被一個使用者訪問和簽到而哪些區域不是。這樣的地理分析使多種服務成為可能，比如基於地理位置的推薦系統，先進的安全系統，或更通常來說，提供更個性化的使用者體驗。 在這篇文章中，我會確定對每個人來說特定的地理活動區域，討論如何從大量的定位事件中（比如 […]
spark遠端debug之除錯spark on yarn 程式（基於CDH平臺，1.6.0版本）
簡介 由於spark有多種執行模式，遠端除錯的時候，雖然大體步驟相同，但是還是有小部分需要注意的地方，這裡記錄一下除錯執行在spark on yarn模式下的程式。 環境準備 需要完好的Hadoop，spark叢集，以便於提交spark on yarn程式。我這裡是基 […]
Spark on yarn–幾種提交叢集執行spark程式的方式
今天看了spark的yarn配置，本來想著spark在hadoop叢集上啟動之後，還需要配置spark才能讓yarn來管理和排程spark的資源，原來啟動master和worker之後就會讓yarn來原理spark的資源，因為我使用了spark和hadoop叢集的高可用，可能是不是這個問題呢，還不太 […]
Spark on Yarn叢集搭建詳細過程
由於最近學習大資料開發，spark作為分散式記憶體計算框架，當前十分火熱，因此作為首選學習技術之一。Spark官方提供了三種叢集部署方案： Standalone, Mesos, Yarn。其中 Standalone 為spark本身提供的叢集模式，搭建過程可以參考官網，本文介紹Spark on Ya […]