IT评测·应用市场-qidao123.com

标题: 9_Spark安装 [打印本页]

作者: 莱莱 时间: 2025-3-10 06:28
标题: 9_Spark安装
下载spark压缩包
通过百度网盘分享的文件：spark-2.0.2-bin-hadoop2.6.tgz
链接：https://pan.baidu.com/s/1lXPExVxxdkdx1QjiLlaorw
提取码：yc69
通过百度网盘分享的文件：scala-2.11.8.tgz
链接：https://pan.baidu.com/s/1YR4enZqTgE-Yy3Jb456JIQ
提取码：yc69
1.Scala配置

分别在master、slave1、slave2上实验。

解压Scala压缩包，进入解压后的Scala目录
pwd

vim /root/.bashrc

复制代码

添加环境变量：

#set scala environment
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:${SCALA_HOME}/bin
#set spark environment
export SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6
export PATH=$PATH:${SPARK_HOME}/bin

复制代码

验证：

bash
scala -version

复制代码

2.Spark集群配置

解压Spark压缩包
进入解压后的Spark目录
cd conf/
添加和修改slaves文件

cp slaves.template slaves
vim slaves
# 将 localhost 修改为：
slave1
slave2

复制代码

添加和修改 spark-env.sh 文件

cp spark-env.sh.template spark-env.sh
vim spark-env.sh

复制代码

添加配置：

export SCALA_HOME=/usr/local/src/scala-2.11.8
export JAVA_HOME=/usr/local/src/jdk1.8.0_181
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_WEBUI_PORT=8989
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G

复制代码

分发Spark到slave节点

# 进入 /usr/local/src 目录
scp -rp spark-2.0.2-bin-hadoop2.6/ slave1:`pwd`
scp -rp spark-2.0.2-bin-hadoop2.6/ slave2:`pwd`

复制代码

3.启动集群

cd sbin/
./start-all.sh
jps

复制代码

4.网页监控面板

master:8989
5.验证

进入Spark目录

# 集群 Standalone
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 ./examples/jars/spark-examples_2.11-2.0.2.jar 10
# 集群 spark on Yarn
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster ./examples/jars/spark-examples_2.11-2.0.2.jar 10

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)