云盘算Spark环境搭建并搭建conda环境

云盘算Spark环境搭建并搭建conda环境

第一部门：搭建Spark

• 将Spark和Miniconda传进容器并解压
  

• 修改Spark下/spark/conf/spark_env.sh 假如是template模板 可以复制一份改名
  

下面路径必要修改为自己的路径
export HADOOP_CONF_DIR=/root/hadooptar/hadoop/etc/hadoop
export YARN_CONF_DIR=/root/hadooptar/hadoop/etc/hadoop
export SPARK_PID_DIR=/root/hadooptar/hadoop/pid
export JAVA_HOME=/opt/hadooptar/jdk

• 修改conf下的workers文件，同样假如是模板可以复制一份
  

写上从节点的名字

• 将修改后的spark同步到其他容器
  

• 在主节点的Spark/sbin/下启动
  

Start-all.sh
假如你发现从节点worker无法启动，可能因为地址需找不到，可以去指定一个
在下面加上export SPARK_LOCAL_IP=.........  （最好默认 不设置）

启动完毕后会出现以下界面
Jps中会出现master

从节点会出现如下：worker

• 进入192.168.81.132：8080可以进入Spark，如下界面便是启动成功
  

第二部门：搭建miniconda的环境

• 将自己的miniconda解压的sh文件运行
  

一直确定确定即可，背面填写yes

第二步：这里是安装的miniconda环境的默认路径
这里你是可以修改了，这里我没有修改直接确定就是默认路径

第三步：创建conda envs的test环境

Conda activate test

就可以进入test环境

而且pip install pyspark==3.2 -v

第四步: 设置.bashrc文件
export PYSPARK_PYTHON=/root/miniconda3/envs/test/bin/python
export PYSAPR_DRIVER_PYTHON=/root/miniconda3/envs/test/bin/python
export PYTHONPATH=$(ZIPS=(/root/spark/python/lib/*.zip);
IFS=:;echo "${ZIPS

}")PYTHONPATH

第五步：source 一下.barshrc 并更换到conda activate test

第六步：将pyspark_word_count.py 如下 更改自己的地址

第七步：在自己的test env环境下 以及spark/bin路径下运行这个pyspark_word_count.py代码
Spark_submit /opt/spark/pyspark_word_count.py

至此运行完毕 spark成功运行pyspark_word_count.py




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。