sparkts使用方法

㈠ Spark如何使用Akka實現進程，節點通信的簡

ResourceManager：是集群所有應用程序的資源管理器，能夠管理集群的計算資源並為每個Application分配，它是一個純粹的調度器。 NodeManager：是每一台slave機器的代理，執行應用程序，並監控應用程序的資源使用情況。 Application Master：每一個應用程序都會有一個Application Master，它的主要職責是向RM申請資源、在每個NodeManager上啟動executors、監控和跟蹤應用程序的進程等。

這里寫圖片描述
執行過程：
（1）客戶端提交Application到RM，這個過程做的工作有判斷集群資源是否滿足需求、讀取配置文件、設置環境變數、設置Application名字等等；
（2）RM在某一台NodeManager上啟動Application Master，AM所在的機器是YARN分配的，事先是不知道的；
（3）AM初始化SparkContext，開始驅動程序，這個NodeManager便是Driver；
（4）AM向ResourceManager申請資源，並在每台NodeManager上啟動相應的executors；
（5）初始化後的SparkContext中的通信模塊可以通過AKKA與NodeManager上的容器進行通信。
比以前的更多的理解：
（1）Application Master所在的NodeManager是Yarn隨機分配的，不是在主節點上，下圖是實驗室集群上跑得一個Spark程序，tseg0是主節點，tseg1~tseg4是workers，IP10.103.240.29指的是tseg3:

這里寫圖片描述
（2）在上圖還可以看出，executor的容器和AM容器是可以共存的，它們的封裝都是容器；
（3）AM是Yarn啟動的第一個容器；
（4）AM所在的NodeManager就是平常說的Driver端，因為這個AM啟動了SparkContext，之前實驗室說的「誰初始化的SparkContext誰就是Driver端」一直理解錯了，以為這句話是相對於機器說的，但其實是相對於Cluster和Client的集群模式來說的（不知道其他模式Mesos、standalone是不是也是這樣）。
（5）在Application提交到RM上之後，Client就可以關閉了，集群會繼續運行提交的程序，在實際使用時，有時候會看到這樣一種現象，關閉Client會導致程序終止，其實這個Application還沒有提交上去，關閉Client打斷了提交的過程，Application當然不會運行。

這里寫圖片描述
（1）Client Application會初始化SparkContext，這是Driver端；
（2）提交Application到RM；
（3）應該是在RM所在的機器上啟動AM（
？不確定
）；
（4）AM向RM申請資源，並啟動NodeManager上的Executors；
（5）Executors與SparkContext初始化後的通信模塊保持通信，因為是與Client端通信，所以Client不能關閉。
（1）SparkContext初始化不同，這也導致了Driver所在位置的不同，YarnCluster的Driver是在集群的某一台NM上，但是Yarn-Client就是在RM在機器上； （2）而Driver會和Executors進行通信，這也導致了Yarn_cluster在提交App之後可以關閉Client，而Yarn-Client不可以； （3）最後再來說應用場景，Yarn-Cluster適合生產環境，Yarn-Client適合交互和調試。
之前實驗室配過Hadoop多用戶
，最近因為培訓Spark，又得在這個基礎上再能夠運行Spark。做的工作很簡單，就是把Spark以及Spark依賴的環境scp過去，然後再改一下相應的配置就可以了。猜想的不同用戶運行Spark On Yarn Cluster如下圖所示，無非就是多增加了一個用戶Client，因為ResourceManager是唯一的，所以不同用戶CLient提交的Spark Application在集群上運行都是一樣的。

㈡ 如何使用 Spark SQL

一、啟動方法
/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2

註：/data/spark-1.4.0-bin-cdh4/為spark的安裝路徑

/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看啟動選項

--master MASTER_URL 指定master url
--executor-memory MEM 每個executor的內存，默認為1G
--total-executor-cores NUM 所有executor的總核數
-e <quoted-query-string> 直接執行查詢SQL

-f <filename> 以文件方式批量執行SQL

二、Spark sql對hive支持的功能

1、查詢語句：SELECT GROUP BY ORDER BY CLUSTER BY SORT BY
2、hive操作運算：
1) 關系運算：= ==, <>, <, >, >=, <=
2) 算術運算：+, -, *, /, %
3) 邏輯運算：AND, &&, OR, ||
4) 復雜的數據結構
5) 數學函數：(sign, ln, cos, etc)
6) 字元串函數：
3、 UDF
4、 UDAF

5、 用戶定義的序列化格式
6、join操作：JOIN {LEFT|RIGHT|FULL} OUTER JOIN LEFT SEMI JOIN CROSS JOIN
7、 unions操作：
8、 子查詢： SELECT col FROM ( SELECT a + b AS col from t1) t2
9、Sampling
10、 Explain
11、 分區表
12、 視圖
13、 hive ddl功能：CREATE TABLE、CREATE TABLE AS SELECT、ALTER TABLE

14、 支持的數據類型：TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING BINARY TIMESTAMPDATE ARRAY MAP STRUCT

三、Spark sql 在客戶端編程方式進行查詢數據
1、啟動spark-shell
./spark-shell --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2
2、編寫程序
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.json("../examples/src/main/resources/people.json")
查看所有數據：df.show()
查看錶結構：df.printSchema()
只看name列：df.select("name").show()
對數據運算：df.select(df("name"), df("age") + 1).show()
過濾數據：df.filter(df("age") > 21).show()

分組統計：df.groupBy("age").count().show()

1、查詢txt數據
import sqlContext.implicits._
case class Person(name: String, age: Int)
val people = sc.textFile("../examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")
val teenagers = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19")
2、parquet文件
val df = sqlContext.read.load("../examples/src/main/resources/users.parquet")
3、hdfs文件

val df = sqlContext.read.load("hdfs://namenode.Hadoop:9000/user/hive/warehouse/spark_test.db/test_parquet/part-r-00001.gz.parquet")
4、保存查詢結果數據
val df = sqlContext.read.load("../examples/src/main/resources/users.parquet")

df.select("name", "favorite_color").write.save("namesAndFavColors.parquet「)

四、Spark sql性能調優

緩存數據表：sqlContext.cacheTable("tableName")

取消緩存表：sqlContext.uncacheTable("tableName")

spark.sql.inMemoryColumnarStorage.compressedtrue當設置為true時，Spark SQL將為基於數據統計信息的每列自動選擇一個壓縮演算法。
spark.sql.inMemoryColumnarStorage.batchSize10000柱狀緩存的批數據大小。更大的批數據可以提高內存的利用率以及壓縮效率，但有OOMs的風險

㈢ spark 開源聊天軟體怎麼使用

登錄時可使用 openfire 中創建的帳號，也可以自己注冊新的帳號，伺服器需設置為 openfire 的域名地址即 bzwang.tzsoft.com

其實聊天工具都有著相似點，聯想一下就能掌握其用法了1

㈣ 大疆曉spark怎樣切換到手機操控

Spark可使用移動設備與DJI GO 4 App控制飛行器。步驟如下：

1. 開啟智能飛行電池

2. 開啟移動設備的Wi-Fi功能，在Wi-Fi列表中選擇Spark_XXX並輸入鏈接密碼

3. 開啟DJI GO 4 App，點擊「開始飛行」進入相機頁面，如果出現相機的預覽畫面，則表明飛行器御移動設備成功鏈接。

4. 選擇自動起飛，使用顯示在DJI GO 4 App上的虛擬搖桿控制飛行器。
   

注意事項如下：

㈤ 大疆曉Spark如何使用移動設備直連控制飛行器

Spark使用移動設備與DJI GO 4 APP控制飛行器。可根據以下步驟設置並且使用。
（1）開啟飛行器電源。
（2）在移動設備的Wi-Fi設置里連接飛行器的Wi-Fi SSID「Spark-XXXXXX」，在電池倉內或外包裝盒上獲取出廠時的Wi-Fi SSID和密碼
（3）若使用僅支持2.4G的移動設備且Wi-Fi列表中無法找到

SparkWi-Fi，可重置飛行器Wi-Fi後進行連接。
（4）若上一次通過遙控器連接飛行器，本次使用移動設備連接前，先長按電池開關鍵6秒直至飛行器發出D-DD提示音，飛行器取消對頻即可連接至移動設備。

㈥ 在阿里配置了spark怎麼使用

1、伺服器就是為了加快網站打開速度，提高網站性能的，不需要操作鍵面。
2、wordpress環境php+apache+mysql+linux

【具體教程】
1、使用Xshell連接阿里雲ECS伺服器

2、阿里雲ECS（linux）掛載數據盤

3、阿里雲ECS（linux）一鍵安裝web環境

4、阿里雲ECS（linux）修改myspl資料庫密碼

5、阿里雲ECS（linux）安裝wordpress程序

6、阿里雲ECS（linux）安裝postfix發送郵件

7、阿里雲ECS（linux）拒絕ip地址直接訪問網站

8、阿里雲ECS（linux）apache設置靜態文件緩存方法