大数据-81 Spark 安装配置情况 集群情况配置 超详细 三台云服务器 ...

点一下关注吧！！！非常感谢！！一连更新！！！

如今已经更新到了：

• Hadoop（已更完）
  
• HDFS（已更完）
  
• MapReduce（已更完）
  
• Hive（已更完）
  
• Flume（已更完）
  
• Sqoop（已更完）
  
• Zookeeper（已更完）
  
• HBase（已更完）
  
• Redis （已更完）
  
• Kafka（已更完）
  
• Spark（正在更新！）
  

章节内容

上节我们完成了：

• Spark 简单介绍
  
• Spark 的特点
  
• Spark 与 Hadoop MapReduce 框架对比
  
• Spark的系统架构
  
• Spark的部署模式
  

下载文件

我们到官方所在下载：

1. https://archive.apache.org/dist/spark/

复制代码

页面如下，为了保证稳定和学习的方便，我用了比力老的版本：2.4.5

我们选择：without-hadoop-scala 这种版本，可以不用安装配置 Scala：

1. https://archive.apache.org/dist/spark/
2. spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

复制代码

解压配置

我们可以利用 wget 或者其他工具来完成文件的下载，我这里是传到服务器上：

1. cd /opt/software/wget https://archive.apache.org/dist/spark/
2. spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

复制代码

下载完成后，我们进行解压并移动到指定位置：

1. cd /opt/software/
2. tar zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

复制代码

移动目录到servers下（之前的规范）：

1. mv spark-2.4.5-bin-without-hadoop-scala-2.12 ../servers

复制代码

情况变量

1. vim /etc/profile
3. # spark
4. export SPARK_HOME=/opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12
5. export PATH=$PATH:$SPARK_HOME/bin

复制代码

配置完的效果，记得革新情况变量

修改配置

1. cd $SPARK_HOME/conf

复制代码

slaves

1. mv slaves.template slaves
2. vim slaves
4. # 集群地址
5. h121.wzk.icu
6. h122.wzk.icu
7. h123.wzk.icu

复制代码

配置完的样子大概如下：

spark-defaults

1. mv spark-defaults.conf.template spark-defaults.conf
2. vim spark-defaults.conf
4. # 修改配置的信息
5. spark.master spark://h121.wzk.icu:7077
6. spark.eventLog.enabled true
7. spark.eventLog.dir hdfs://h121.wzk.icu:9000/spark-eventLog
8. spark.serializer org.apache.spark.serializer.KryoSerializer
9. spark.driver.memory 512m

复制代码

配置完的效果如下图：

创建HDFS目录

1. hdfs dfs -mkdir /spark-eventLog

复制代码

spark-env

1. mv spark-env.sh.template spark-env.sh
2. vim spark-env.sh
4. # 修改如下的配置内容
5. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
6. export HADOOP_HOME=/opt/servers/hadoop-2.9.2
7. export HADOOP_CONF_DIR==/opt/servers/hadoop-2.9.2/etc/hadoop
8. export SPARK_DIST_CLASSPATH=$(/opt/servers/hadoop-2.9.2/bin/hadoop classpath)
9. export SPARK_MASTER_HOST=h121.wzk.icu
10. export SPARK_MASTER_PORT=7077

复制代码

配置完成截图如下：

分发软件

传输文件

利用我们之前编写的 rsync-script 工具。当然你也可以每台都配置一次也行，只要保证情况一致即可。
（之前Hadoop等都利用过，如果你没有，你可以用复制或者别的方式）

1. rsync-script /opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12

复制代码

过程会很漫长，请耐心等待：

文件传输分发完毕：

情况变量

天天呆板都需要配置情况变量！！！

1. /etc/profile

复制代码

h122 服务器

h123 服务器

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。