實例 | Spark本地開發環境搭建

文 | 翟志軍   來源 | 開源中國
我選擇的是spark-1.6.0-bin-cdh4.tgz ?？吹絚dh4(Hadoop的一個分發版本)，別以為它是要你裝Hadoop。其實不然，要看你自己的開發需求。
本文使用Scala2.10.6，sbt。請自行提前裝好。
設置SSH，本地免密碼登錄
因為Spark master需要ssh到Spark worker中執行命令，所以，需要免密碼登錄。
1.cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
執行ssh localhost確認一下，如果不需要密碼登錄就說明OK了。
Tips： Mac下可能ssh不到本地，請檢查你sharing設置：

下載Spark
http：//spark.apache.org/downloads.html
我選擇的是spark-1.6.0-bin-cdh4.tgz ?？吹絚dh4(Hadoop的一個分發版本)，別以為它是要你裝Hadoop。其實不然，要看你自己的開發需求。因為我不需要，所以，我只裝Spark。
配置你的Spark slave
我很好奇，worker和slave這個名稱有什么不同？還是因為歷史原因，導致本質上一個東西但是兩種叫法？
在你的Spark HOME路徑下
1.cp ./conf/slaves.template ./conf/slaves
slaves文件中有一行localhost代表在本地啟動一個Spark worker。
啟動Spark偽分布式
1.  /sbin/start-all.sh
執行JPS驗證Spark啟動成功
1. ？ jps
2.  83141 Worker
3.  83178 Jps
4.  83020 Master
打開你的Spark界面
http：//localhost：8080

下載Spark項目骨架
為方便我自己開發，我自己創建了一個Spark應用開發的項目骨架。
下載項目骨架： http：//git.oschina.net/zacker330/spark-skeleton
項目路徑中執行：sbt package 編譯打包你的spark應用程序。
將你的spark應用程序提交給spark master執行
1.  /bin/spark-submit \
2.  --class "SimpleApp" \
3.  --master spark：//Jacks-MBP.workgroup：7077 \
4.  target/scala-2.10/spark-skeleton_2.10-1.0.jar
這個“spark：//Jacks-MBP.workgroup：7077”是你在 http：//localhost：8080 中看到的URL的值
可以看到打印出： hello world
end