简介
留意:
在部署spark集群前,请部署好Hadoop集群,jdk8【当然Hadoop集群必要运行在jdk上】,必要留意hadoop,spark的版本,思量兼容问题。好比hadoop3.0以上的才兼容spark3.0以上的。
下面是Hadoop集群部署的链接,个人笔记,已经乐成部署两次了,实时更新,分【一】【二】两部分,必要的自己看。不懂欢迎问,看到相识答。(链接失效的话请参考个人主页)
hadoop集群部署【一】HDFS集群http://t.csdnimg.cn/BVKlqhadoop集群部署【二】YARN,MapReduce集群http://t.csdnimg.cn/aJJt7
搭建准备工作:
必要python
环境,上传Anaconda,找到放置的位置。
安装Anaconda
在node1(我的第一台机器名)安装Anaconda(我的是Anaconda3-2021.05-Linux-x86_64.sh 版本python
3.8)
- sh ./Anaconda3-2021.05-Linux-x86_64.sh
复制代码 然后一直空格,出现[yes|no] 就回答yes,懂?
出现这样的就填你要把anaconda安装到那里。(路径)
完成后结果(退出终端,重新进来)
更改conda国内源
vim ~/.condarc(新建的,一样平常内里没东西)
- channels:
- - defaults
- show_channel_urls: true
- default_channels:
- - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
- custom_channels:
- conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
复制代码 终端输入
创建spark运行的虚拟环境
- conda create -n pyspark python
- =3.8
复制代码 切换虚拟环境
Spark Local部署
上传解压spark
(我的是 spark-3.2.0-bin-hadoop3.2.tgz)
通过什么工具不管,能上传就行。
找到spark上传的位置,cd 进到该目次,不进去也行,自己在前面加路径哈!解压。
- tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server spark-3.2.0-bin-hadoop3.2/
复制代码 -C 参数后跟解压到哪(路径)
- cd /export/server #填你自己解压的路径
复制代码 建立软链接
- ln -s spark-3.2.0-bin-hadoop3.2/ spark
复制代码
配置环境变量
- export SPARK_HOME=/export/server/sparkexport PYSPARK_PYTHON=/export/server/anaconda3/envs/pyspark/bin/python
- 3.8export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
复制代码 添加
- export JAVA_HOME=/export/server/jdkexport PYSPARK_PYTHON=/export/server/anaconda3/envs/pyspark/bin/python
- 3.8
复制代码 启动spark local模式
pyspark
进入spark的bin路径下
- cd /export/server/spark/bin # 注意路径
复制代码
运行下面代码,结果参考上图
- sc.parallelize([1,2,3,4,5]).map(lambda x:x *10).collect()
复制代码 可以通过游览器输入node1:4040查看监控页面(多个历程不会起冲突,详细监控页面的端口看上图spark版本下面第二行)
Ctrl+d退出
scala交互式界面
Ctrl+d退出
提交python
文件(参考spark自带的案例文件pi.py 求圆周率,参数10 迭代十次)
- ./spark-submit --master local
- [*] /export/server/spark/examples/src/main/python
- /pi.py 10
复制代码
提交文件没有监控界面
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |