9_Spark安装

下载spark压缩包
通过百度网盘分享的文件：spark-2.0.2-bin-hadoop2.6.tgz
链接：https://pan.baidu.com/s/1lXPExVxxdkdx1QjiLlaorw
提取码：yc69
通过百度网盘分享的文件：scala-2.11.8.tgz
链接：https://pan.baidu.com/s/1YR4enZqTgE-Yy3Jb456JIQ
提取码：yc69
1.Scala配置

• 分别在master、slave1、slave2上实验。
  

解压Scala压缩包，进入解压后的Scala目录
pwd

1. vim /root/.bashrc

复制代码

添加环境变量：

1. #set scala environment
2. export SCALA_HOME=/usr/local/src/scala-2.11.8
3. export PATH=$PATH:${SCALA_HOME}/bin
4. #set spark environment
5. export SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6
6. export PATH=$PATH:${SPARK_HOME}/bin

复制代码

验证：

1. bash
2. scala -version

复制代码

2.Spark集群配置

解压Spark压缩包
进入解压后的Spark目录
cd conf/
添加和修改slaves文件

1. cp slaves.template slaves
2. vim slaves
3. # 将 localhost 修改为：
4. slave1
5. slave2

复制代码

添加和修改 spark-env.sh 文件

1. cp spark-env.sh.template spark-env.sh
2. vim spark-env.sh

复制代码

添加配置：

1. export SCALA_HOME=/usr/local/src/scala-2.11.8
2. export JAVA_HOME=/usr/local/src/jdk1.8.0_181
3. export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
4. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
5. SPARK_MASTER_WEBUI_PORT=8989
6. SPARK_MASTER_IP=master
7. SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
8. SPARK_DRIVER_MEMORY=1G

复制代码

分发Spark到slave节点

1. # 进入 /usr/local/src 目录
2. scp -rp spark-2.0.2-bin-hadoop2.6/ slave1:`pwd`
3. scp -rp spark-2.0.2-bin-hadoop2.6/ slave2:`pwd`

复制代码

3.启动集群

1. cd sbin/
2. ./start-all.sh
3. jps

复制代码

4.网页监控面板

master:8989
5.验证

进入Spark目录

1. # 集群 Standalone
2. ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 ./examples/jars/spark-examples_2.11-2.0.2.jar 10
3. # 集群 spark on Yarn
4. ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster ./examples/jars/spark-examples_2.11-2.0.2.jar 10

复制代码

---

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。