Spark SQL與Hive On MapReduce速度比較
我們都知道Spark比Hadoop的MR計算速度更快。到底快多少呢？我一直比較疑惑，會有官網說的那麼誇張嗎。 今天就拿基於Spark的Spark SQL和基於MR的Hive比較一下，因為Spark SQL也相容了HiveQL，我們就可以通過執行相同的HiveQL語句，比較直觀的看出到底快多少了。 S […]
spark和
1/16ページ
- 2018.08.06
- cdh, hive, spark on yarn, spark和, spark實踐,
Spark讀寫Hive
環境：CDH5.8，Spark：1.6.0；Hadoop：2.6.0，Intellij IDEA14 ，jdk1.8，sdk：2.10.6 ，maven：3.3.3； 工程下載地址：https://github.com/fansy1990/spark_hive_source_destination […]
Spark筆記：RDD基本操作（上）
原文連結：http://www.cnblogs.com/sharpxiajun/p/5506822.html 本文主要是講解spark裡RDD的基礎操作。RDD是spark特有的資料模型，談到RDD就會提到什麼彈性分散式資料集，什麼有向無環圖 […]
Spark筆記：RDD基本操作（下）
上一篇裡我提到可以把RDD當作一個陣列，這樣我們在學習spark的API時候很多問題就能很好理解了。上篇文章裡的API也都是基於RDD是陣列的資料模型而進行操作的。 Spark是一個計算框架，是對mapreduce計算框架的改進，mapreduce計算框架是基於鍵值對也就是map […]
- 2018.08.06
- Scala&Spark, spark和, spark實踐, spark混洗, spark目錄,
Spark學習使用筆記 – Scala篇（3）- 對映，元組
對映： def constructMap = { //構造一個不可變Map[String Int] val scores = Map("Alice" -> 10, "aaa" -> 9, "bbb" -> 5) //構造一個可變Map[String,Int] val mscores […]
spark基礎入門
原文摘自http://www.donghongchao.cn 1、spark概述 spark是基於記憶體的一個計算框架，計算速度非常的快。這裡面沒有涉及到任何儲存，如果想要處理外部的資料來源，比如資料在HDFS上，此時我們就需要先搭建一個hadoop叢集。 2、spark的特點 1、速度快（比map […]
spark初級入門
原文摘自http://www.donghongchao.cn 1、什麼是RDD RDD（Resilient Distributed Dataset）叫做彈性分散式資料集，是Spark中最基本的資料抽象，它代表一個不可變、可分割槽、裡面的元素可平行計算的集合. Dataset:一個資料集，簡單的理解為 […]
- 2018.08.03
- sparkxgboost機器學習xgboost train failedgbdt, spark和, spark實踐, spark混洗, spark目錄,
Spark XGBoost的一些問題
在使用Spark版本的xgboost的時候會有一些單機版本遇不到的問題，可能對使用的人造成一些困擾，經過兩週的踩坑，總結一下，希望有幫助 1、輸入、預測資料的一致性 Spark版本的XGBoost處理的輸入可以是RDD或者DataFrame。由於Spark的機制，在沒有顯式指定的情況下，是不會儲存R […]
用Spark和DBSCAN對地理定位資料進行聚類
機器學習，特別是聚類演算法，可以用來確定哪些地理區域經常被一個使用者訪問和簽到而哪些區域不是。這樣的地理分析使多種服務成為可能，比如基於地理位置的推薦系統，先進的安全系統，或更通常來說，提供更個性化的使用者體驗。 在這篇文章中，我會確定對每個人來說特定的地理活動區域，討論如何從大量的定位事件中（比如 […]
spark連線問題
18/04/19 23:27:58 INFO master.Master: Registering worker 192.168.72.143:41196 with 4 cores, 2.7 GB RAM18/04/19 23:28:00 INFO master.Master: Registerin […]