从0开始搭建分布式Hadoop+Spark+Flink+Hbase+Kafka+Hive+Flume+Zookeeper+M ...

        该博客由上海第二工业大学数据科学与大数据技能专业师生共同探索、共同打造，期间踩坑无数，旨在为后续讲授工作提供参考，为其他有需要的偕行提供便利。
一、写在前面——一些工具

        一些实用工具附链接

• Vm17 百度网盘链接   许可证可以到某宝买一个，几块钱 百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固，支持教育网加速，支持手机端。注册利用百度网盘即可享受免费存储空间
  
  https://pan.baidu.com/s/17D18OCBCe84iOb-8w64PbQ?pwd=1234
  
• centos7  https://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso
  
  https://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso
  
• Xshell+Xftp家庭/学校免费 - NetSarang Website
  
  https://www.xshell.com/zh/free-for-home-school/
  

     4.一些安装包，下载速度过慢的话可以到百度网盘下载，会及时更新
        https://pan.baidu.com/s/1M6eWjWHcWFtOY757-Ufo_A?pwd=o7ps
    5.阿里云提供的apache安装包下载，速度快一些
apache安装包下载_开源镜像站-阿里云apache安装包是阿里云官方提供的开源镜像免费下载服务，每天下载量过亿，阿里巴巴开源镜像站为包含apache安装包的几百个操作系统镜像和依靠包镜像举行免费CDN加速，更新频率高、稳定安全。

https://mirrors.aliyun.com/apache/?spm=a2c6h.25603864.0.0.77fc2da0VRY2KE
二、安装及配置假造机+Xshell

1.安装Centos7及基本配置

1.vm17下载好以后不绝下一步安装末了输入许可证运行即可
2.修改假造机网络，按如下图

3.修改好以后新建一台假造机
    

4.选择之前下好的系统镜像文件

5.设置名称及目录（建议设成hadoop01）

6.不绝下一步，创建完成后运行假造机（windows11系统存在部分蓝屏环境，百度解决吧）

7.选择第二个，安装系统

8.选择中文简体，然后下一步，哪里亮了点哪里，无需举行修改

9.这里设置暗码为root
10.进入系统

11.账号为root，暗码为root，进入系统
12.配置静态ip

1. #配置静态ip，进入系统后执行
3. vi /etc/sysconfig/network-scripts/ifcfg-ens33
6. #将里面的内容全部删除，替换为
8. TYPE=Ethernet
9. PROXY_METHOD=none
10. BROWSER_ONLY=no
11. BOOTPROTO=static
12. DEFROUTE=yes
13. IPV4_FAILURE_FATAL=no
14. IPV6INIT=yes
15. IPV6_AUTOCONF=yes
16. IPV6_DEFROUTE=yes
17. IPV6_FAILURE_FATAL=no
18. IPV6_ADDR_GEN_MODE=stable-privacy
19. NAME=ens33
20. UUID=dccf9ab3-f2fe-435b-88b0-ed33668ce2a5
21. DEVICE=ens33
22. ONBOOT=yes
23. NETMASK=255.255.255.0
24. IPADDR=192.168.100.101
25. GATEWAY=192.168.100.2
26. DNS1=114.114.114.114
27. DNS2=8.8.8.8
30. #保存退出，重启网卡
31. systemctl restart network
34. #重启后测试网络
36. ping baidu.com
38. #确保网络没问题继续下面步骤

复制代码

13.修改yum源
 国内除阿里外其他镜像站都不再提供yum源，yum install wget如遇错误，参考以下步调
 下载yum源替换文件https://mirrors.aliyun.com/repo/Centos-7.repo
  修改文件名称如图，并将原目录下的文件替换
  执行 yum clean all  ，标题解决

14.安装一些工具

1. yum install vim
2. yum install wget
3. yum install net-tools

复制代码

15.禁用防火墙       

1. systemctl stop firewalld
2. systemctl disable firewalld

复制代码

2.克隆假造机

按如下图，克隆两台千篇一律的假造机，分别定名为hadoop02，hadoop03

3.修改IP及hostname

1. #修改IP，分别打开克隆好的hadoop02，hadoop03，执行
3. vim /etc/sysconfig/network-scripts/ifcfg-ens33
5. #分别修改其中IPADDR最后三位为102 103
6. #保存并退出，重启网卡
8. #修改hostname，修改三台设备的hostname
9. vim /etc/hostname
11. #在下方插入一行，分别为hadoop01 hadoop02 hadoop03
14. #保存退出，执行reboot，重启三台机器

复制代码

后续操作在Xshell举行
4.Xshell连接三台呆板

1.新建会话，输入名称为hadoop01 hadoop02 hadoop03 以及对应ip

2.连接三台呆板，输入账号暗码均为root

3.这里有一个小技巧，可以在一个窗口输入命令，三个窗口同时执行，方便后续操作

5.配置host

1. #配置hosts
3. vim /etc/hosts
5. #文件下方插入
7. 192.168.100.101 hadoop01
8. 192.168.100.102 hadoop02
9. 192.168.100.103 hadoop03

复制代码

6.配置及分发公钥

1. #选择一个窗口，输入命令，三台机器同时操作
3. #生成公钥，执行以下命令一直回车即可
4. ssh-keygen -t rsa
6. #分发公钥，执行以下命令，期间需要输入一次密码，密码为root
7. ssh-copy-id hadoop01
8. ssh-copy-id hadoop02
9. ssh-copy-id hadoop03

复制代码

7.测试

1. #任意一台机器上可以免密连接任意一台机器即可
3. ssh hadoop01
4. ssh hadoop02
5. ssh hadoop03
7. #连接ssh后可通过Ctrl+D退出连接

复制代码

8.创建目录

三台呆板同时操作

1. #创建目录，三台机器同时操作
3. cd /
4. mkdir bigdata

复制代码

至此，三台呆板联通，基本配置完成，以上步调是通过回想写出来的，如有遗漏可以自行百度，也欢迎在品评区共同美满。
三、Anconda+JDK

1.安装Anconda 

1.下载链接如下
https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh

https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh

2.下载完成后通过Xftp，拖拽至三台假造机

以下步调在三台呆板同时执行，Xshell连接三台呆板后可同时操作

1. #在/bigdata目录下安装
3. cd /bigdata
5. #给刚刚下载的文件赋执行权限
7. chmod +x ./Anaconda3-2024.06-1-Linux-x86_64.sh
9. #运行安装文件
11. ./Anaconda3-2024.06-1-Linux-x86_64.sh
13. #出现下方选择安装目录，默认为/root/anaconda3，我们这里改为/bigdata/anaconda

复制代码

1. #安装完成后配置一下变量
3. echo 'export PATH="/bigdata/anaconda/bin:$PATH"' >> ~/.bashrc
5. vim ~/.bashrc
6. #在末尾插入
8. export CONDA_ENVS_PATH=/bigdata/anaconda/envs
10. #刷新
12. source ~/.bashrc
14. #创建python3.8
16. conda create --name py38 python=3.8
18. #切换至py38
20. conda activate py38
22. python --version #验证版本

复制代码

另外两台呆板重复上述操作   
至此，anaconda+python3.8配置完成
2.配置jupyter

jupyter只在hadoop01配置即可

1. #配置jupyter，仅在hadoop01配置即可
3. #进入py38环境
4. conda activate py38
6. #安装jupyter
8. pip install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple/
10. #生成jupyter配置文件
11. jupyter notebook --generate-config
13. #设置jupyter密码
14. jupyter notebook password
16. #这里密码设置成root，重复输入两次
18. #修改jupyter配置文件
19. vim ~/.jupyter/jupyter_notebook_config.py
21. #找到以下行并修改，需要把第一个字符#删掉
22. c.ServerApp.ip = '*'
23. c.ServerApp.open_browser = False
24. c.ServerApp.port = 8888
27. #保存退出
28. #后台运行
29. cd /bigdata
30. nohup jupyter notebook --allow-root&

复制代码

3.安装JDK

1. #进入目录
2. cd /bigdata
4. #下载jdk
5. wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz
7. #解压缩
8. tar -zxvf jdk-8u202-linux-x64.tar.gz
10. #修改文件名
11. mv jdk1.8.0_202/ jdk1.8
13. #配置环境变量
14. vim /etc/profile
15. #在文件头部插入
16. export JAVA_HOME=/bigdata/jdk1.8
17. export JRE_HOME=${JAVA_HOME}/jre
18. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
19. export PATH=${JAVA_HOME}/bin:$PATH
21. #保存退出并刷新
22. source /etc/profile
24. #查看版本
25. java -version

复制代码

另外两台呆板重复上述操作,如果三台呆板同时操作则不需要再重复。
至此，jdk安装完成
四、Hadoop

1.下载解压及底子配置

1. #下载hadoop3.3.6，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
2. cd /bigdata
3. wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
5. #解压
6. tar -zxvf hadoop-3.3.6.tar.gz
8. #改名并进入目录
9. mv hadoop-3.3.6 hadoop
10. cd hadoop
12. #创建pids、logs、namenode、datanode
13. mkdir logs
14. mkdir pids
15. mkdir namenode
16. mkdir datanode
17. mkdir nm-local-dir
18. mkdir nm-log-dir
19. mkdir nm-remote-app-log-dir

复制代码

2.修改etc/hadoop/hadoop-env.sh文件

1. #修改etc/hadoop/hadoop-env.sh文件
2. vim /bigdata/hadoop/etc/hadoop/hadoop-env.sh
4. #直接在头部添加
6. export JAVA_HOME=/bigdata/jdk1.8
7. export HADOOP_PID_DIR=/bigdata/hadoop/pids
8. export HADOOP_LOG_DIR=/bigdata/hadoop/logs
9. export HDFS_NAMENODE_USER=root
10. export HDFS_DATANODE_USER=root
11. export HDFS_SECONDARYNAMENODE_USER=root
12. export YARN_RESOURCEMANAGER_USER=root
13. export YARN_NODEMANAGER_USER=root

复制代码

3.修改etc/hadoop/core-site.xml

1. #修改etc/hadoop/core-site.xml
3. vim /bigdata/hadoop/etc/hadoop/core-site.xml
5. #在<configuration>标签中间加入
7. <property>
8.         <name>fs.defaultFS</name>
9.         <value>hdfs://hadoop01:9000</value>
10.     </property>
11.    
12.     <property>
13.         <name>io.file.buffer.size</name>                                
14.         <value>131072</value>
15.     </property>
17.     <property>
18.         <name>hadoop.proxyuser.root.hosts</name>
19.         <value>*</value>
20.         <description>Hadoop的超级用户root能代理的节点</description>
21.     </property>
23.     <property>
24.         <name>hadoop.proxyuser.root.groups</name>
25.         <value>*</value>
26.         <description>Hadoop的超级用户root能代理的用户组</description>
27.     </property>

复制代码

4.修改etc/hadoop/hdfs-site.xml

1. #修改etc/hadoop/hdfs-site.xml
2. vim /bigdata/hadoop/etc/hadoop/hdfs-site.xml
4. #在<configuration>标签中间加入
6.    <property>
7.         <name>dfs.replication</name>
8.         <value>1</value>
9.     </property>
11.     <property>
12.         <name>dfs.namenode.name.dir</name>                              
13.         <value>/bigdata/hadoop/namenode</value>
14.     </property>
15.         
16.     <property>
17.         <name>dfs.blocksize</name>                                      
18.         <value>268435456</value>
19.     </property>
21.     <property>
22.         <name>dfs.namenode.handler.count</name>                 
23.         <value>100</value>
24.     </property>
25.    
26.     <property>
27.         <name>dfs.datanode.data.dir</name>
28.         <value>/bigdata/hadoop/datanode</value>
29.     </property>

复制代码

5.修改etc/hadoop/mapred-site.xml

1. #修改etc/hadoop/mapred-site.xml
2. vim /bigdata/hadoop/etc/hadoop/mapred-site.xml
4. #在<configuration>标签中间加入
6.     <property>
7.         <name>mapreduce.framework.name</name>               
8.         <value>yarn</value>
9.     </property>

复制代码

 6.修改etc/hadoop/yarn-site.xml

1. #修改etc/hadoop/yarn-site.xml
2. vim /bigdata/hadoop/etc/hadoop/yarn-site.xml
4. #在<configuration>标签中间加入
6.    <property>
7.         <!--NodeManager获取数据的方式-->
8.         <name>yarn.nodemanager.aux-services</name>
9.         <value>mapreduce_shuffle</value>
10.     </property>
11.     <!--指定YARN集群的管理者（ResourceManager）的地址-->
12.     <property>
13.         <name>yarn.resourcemanager.hostname</name>
14.         <value>hadoop01</value>
15.     </property>

复制代码

7.修改workers文件

1. #修改workers文件
2. vim /bigdata/hadoop/etc/hadoop/workers
4. #将其中全部内容修改为
5. hadoop02
6. hadoop03

复制代码

8.分发

分发（如果只在hadoop01上举行配置则需要分发，如果三台呆板同时配置则不需要再分发）

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp -r /bigdata/hadoop root@hadoop02:/bigdata
4. scp -r /bigdata/hadoop root@hadoop03:/bigdata

复制代码

分发profile并在各台呆板刷新

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp /etc/profile root@hadoop02:/etc/profile
4. scp /etc/profile root@hadoop03:/etc/profile
7. #分发完成后每台机器都要执行
8. source /etc/profile

复制代码

9.添加环境变量

1. #添加环境变量
2. vim /etc/profile
4. #加入
5. export HADOOP_HOME=/bigdata/hadoop
6. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8. #保存退出并刷新
9. source /etc/profile

复制代码

10.HDFS初始化

仅在hadoop01执行

1. hdfs namenode -format

复制代码

11.启动HDFS

仅在hadoop01执行

1. start-dfs.sh       

复制代码

乐成启动
12.启动yarn

仅在hadoop01执行

1. start-yarn.sh

复制代码

乐成启动
至此，hadoop配置完成
五、Zookeeper

 1.下载解压及底子配置

1. #下载hadoop3.3.6，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
2. cd /bigdata
3. wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
5. #解压
6. tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
8. #改名并进入目录
9. mv apache-zookeeper-3.8.4-bin zookeeper
10. cd zookeeper
12. #创建data
13. mkdir data
16. #修改环境变量
17. vim /etc/profile
18. #加入
19. export ZOOKEEPER_HOME=/bigdata/zookeeper
20. PATH=$ZOOKEEPER_HOME/bin:$PATH
23. #保存并刷新
24. source /etc/profile

复制代码

 2.配置zoo.cfg

1. #配置zoo.cfg
2. mv /bigdata/zookeeper/conf/zoo_sample.cfg /bigdata/zookeeper/conf/zoo.cfg
3. vim /bigdata/zookeeper/conf/zoo.cfg
5. #修改
6. dataDir=/bigdata/zookeeper/data
8. #最后一行添加
9. server.0=hadoop01:2888:3888
10. server.1=hadoop02:2888:3888
11. server.2=hadoop03:2888:3888

复制代码

        zoo.cfg配置表明

1. tickTime：        以毫秒为单位。是 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔。
2. dataDir： Zookeeper 保存数据的目录。默认情况下，Zookeeper 会将数据的日志文件也保存在这个目录。
3. clientPort：客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
4. initLimit：配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数，当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。
5. syncLimit：标识 Leader 与 Follower 之间发送消息、请求和应答的时间长度，最长不能超过多少个 tickTime 的时间长度。
6. server.A = B:C:D :
7.         A表示这个是几号服务器
8.         B 是服务器的 ip 地址
9.         C 是这个服务器与集群中的 Leader 服务器交换信息的端口；
10.         D 是若集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader

复制代码

3.分发

如果三台呆板同时配置则无需分发

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp -r /bigdata/zookeeper root@hadoop02:/bigdata
4. scp -r /bigdata/zookeeper root@hadoop03:/bigdata

复制代码

分发profile并在各台呆板刷新

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp /etc/profile root@hadoop02:/etc/profile
4. scp /etc/profile root@hadoop03:/etc/profile
7. #分发完成后每台机器都要执行
8. source /etc/profile

复制代码

4.配置myid

1. #进入刚刚创建的data文件夹
2. cd /bigdata/zookeeper/data
3. vim myid
4. #这里myid中的文件内容为刚刚配置的server.0 .1 .2,hadoop01对应myid为0，hadoop02对应myid为1，以此类推，每台机器都需要配置
6. #修改好以后，保存退出

复制代码

5.启动

1. zkServer.sh start

复制代码

6.状态查抄

1. zkServer.sh status

复制代码

至此，zookeeper配置完成
六、Spark+Scala+Pyspark

1.安装配置Scala        

1. #下载scala-2.12.0，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
2. cd /bigdata
3. wget https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.tgz
5. #解压
6. tar -zxvf scala-2.12.0.tgz
8. #改名
9. mv scala-2.12.0 scala
12. #配置环境变量
13. vim /etc/profile
14. #插入
15. export SCALA_HOME=/bigdata/scala
16. export PATH=$SCALA_HOME/bin:$PATH
18. #刷新
19. source /etc/profile
22. #验证
23. scala -version

复制代码

2.安装Spark

1.下载安装及底子配置

1. #下载，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
2. cd /bigdata
3. wget https://archive.apache.org/dist/spark/spark-3.4.3/spark-3.4.3-bin-hadoop3.tgz
5. #解压
6. tar -zxvf spark-3.4.3-bin-hadoop3.tgz
8. #改名
9. mv spark-3.4.3-bin-hadoop3 spark
12. #配置环境变量
13. vim /etc/profile
14. #插入
15. export SPARK_HOME=/bigdata/spark
16. export PATH=$PATH:$SPARK_HOME/bin
17. export PYSPARK_PYTHON=/bigdata/anaconda/envs/py38/bin/python
19. #刷新
20. source /etc/profile

复制代码

2.local摆设模式 

1. #local部署模式 spark-env.sh，复制local部署模式 spark-env.sh.template
2. cd /bigdata/spark/conf
4. cp spark-env.sh.template spark-env.sh
6. #配置spark-env.sh
8. vim spark-env.sh
10. #插入
11. export JAVA_HOME=/bigdata/jdk1.8
12. export SCALA_HOME=/bigdata/scala
13. export SPARK_WORKER_MEMORY=1g
14. export SPARK_WORKER_CORES=2
15. export SPARK_HOME=/bigdata/spark
16. export HADOOP_HOME=/bigdata/hadoop
17. export HADOOP_CONF_DIR=/bigdata/hadoop
18. export YARN_CONF_DIR=/bigdata/hadoop/etc/hadoop

复制代码

 3.yarn摆设模式 

1. #yarn部署模式 – spark-defaults.conf，复制spark-defaults.conf.template
2. cd /bigdata/spark/conf
4. cp spark-defaults.conf.template spark-defaults.conf
6. #配置spark-defaults.conf
8. vim spark-defaults.conf
10. #插入
11. spark.eventLog.enabled          true
12. spark.eventLog.dir              hdfs://hadoop01:9000/user/spark/directory
13. spark.pyspark.python            /bigdata/anaconda/envs/py38/bin/python3

复制代码

4.修改workers

1. #配置works，复制 workers.template
2. cd /bigdata/spark/conf
4. cp workers.template workers
6. #配置workers
8. vim workers
10. #删除原本内容插入
11. hadoop01
12. hadoop02
13. hadoop03
15. #保存退出

复制代码

5.上传jar包

1. #在hdfs创建文件夹
2. hdfs dfs -mkdir -p /user/spark/directory
4. #上传spark中的jar包
5. hdfs dfs -put /bigdata/spark/jars/* /user/spark/directory

复制代码

3.分发

分发Scala和Spark（如果多台呆板一起配置则不需要分发）

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp -r /bigdata/scala root@hadoop02:/bigdata
4. scp -r /bigdata/scala root@hadoop03:/bigdata
5. scp -r /bigdata/spark root@hadoop02:/bigdata
6. scp -r /bigdata/spark root@hadoop03:/bigdata

复制代码

分发profile并在各台呆板刷新

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp /etc/profile root@hadoop02:/etc/profile
4. scp /etc/profile root@hadoop03:/etc/profile
7. #分发完成后每台机器都要执行
8. source /etc/profile

复制代码

4.启动Spark

1. sbin/start-all.sh
3. #jps查看进程，worker存在

复制代码

8081端口访问正常

5.测试Spark

1. #hadoop01上执行
2. spark-submit --master yarn --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.4.3.jar

复制代码

yarn中可以看到测试乐成
6.测试PySpark

1. #在hadoop01上安装相关库
2. pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple/
3. #打开jupyter，访问http://192.168.100.101:8888/tree
4. #新建一个workspace文件夹存放各类代码
5. #新建一个ipynb，粘贴以下代码直接运行

复制代码

测试通过没有标题

至此，Spark+Scala+PySpark配置完成
七、Hbase+Phoenix

1.Hbase

 1.下载解压及底子配置

1. #下载hbase-2.5.10，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
3. cd /bigdata
4. wget https://mirrors.aliyun.com/apache/hbase/2.5.10/hbase-2.5.10-bin.tar.gz
6. #解压
7. tar -zxvf hbase-2.5.10.tar.gz
9. #改名并进入目录
10. mv hbase-2.5.10 habse
11. cd hbase
15. #修改环境变量
16. vim /etc/profile
17. #加入
18. export HBASE_HOME=/bigdata/hbase
19. export PATH=$PATH:$HBASE_HOME/bin
23. #保存并刷新
24. source /etc/profile

复制代码

 2.配置hbase-env.sh

1. #配置hbase-env.sh
3. vim /bigdata/hbase/conf/hbase-env.sh
5. #文件开头加入
7. export HBASE_MANAGES_ZK=false
8. export JAVA_HOME=/bigdata/jdk1.8
9. export HBASE_CLASSPATH=/bigdata/hadoop/etc/hadoop
10. export HADOOP_HOME=/bigdata/hadoop
11. export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

复制代码

 3.配置hbase-site.xml

1. #配置hbase-site.xml，
2. vim /bigdata/hbase/conf/hbase-site.xml
4. #将<configuration>标签内的内容替换为
6. <property>
7.         <name>hbase.rootdir</name>
8.         <value>hdfs://hadoop01:9000/hbase</value>
9.         <description>这个目录是regin server的共享目录，用来持久化Hbase</description>
10. </property>
11. <property>
12.         <name>hbase.cluster.distributed</name>
13.         <value>true</value>
14.         <description>Hbase的运行模式。false是单机模式，true是分布式模式</description>
15. </property>
16. <property>
17.         <name>hbase.master</name>
18.         <value>hdfs://hadoop01:60000</value>
19.         <description>hmaster port</description>
20. </property>
22. <property>
23.         <name>hbase.zookeeper.quorum</name>
24.         <value>hadoop01,hadoop02,hadoop03</value>
25.         <description>zookeeper集群的URL配置，多个host中ian用逗号（,）分割</description>
26. </property>
28. <property>
29.         <name>hbase.zookeeper.property.dataDir</name>
30.         <value>/bigdata/zookeeper/data</value>
31.         <description>zookeepe的zooconf中的配置，快照的存储位置</description>
32. </property>
34. <property>
35. <name>hbase.zookeeper.property.clientPort</name>
36.   <value>2181</value>
37. </property>
38. <property>
39.   <name>hbase.master.info.port</name>
40.   <value>60010</value>
41. </property>
44. #修改好以后，保存退出

复制代码

4.配置regionservers

1. #配置regionservers
3. vim /bigdata/hbase/conf/regionservers
5. #删除localhost，替换为
8. hadoop02
9. hadoop03

复制代码

 5.拷贝Hadoop配置

1. #拷贝Hadoop配置
2. cp /bigdata/hadoop/etc/hadoop/hdfs-site.xml /bigdata/hbase/conf
3. cp /bigdata/hadoop/etc/hadoop/core-site.xml /bigdata/hbase/conf

复制代码

6.分发

如果三台呆板同时配置则无需分发

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp -r /bigdata/hbase root@hadoop02:/bigdata
4. scp -r /bigdata/hbase root@hadoop03:/bigdata

复制代码

分发profile并在各台呆板刷新

1. #如果仅在hadoop01上进行配置的话需要分发给另外两台机器，我这里同时配置的三台机器，所以不需要再分发
2. #分发命令参考下方
3. scp /etc/profile root@hadoop02:/etc/profile
4. scp /etc/profile root@hadoop03:/etc/profile
7. #分发完成后每台机器都要执行
8. source /etc/profile

复制代码

7.启动

1. #在hadoop01
2. /bigdata/hbase/bin/start-hbase.sh

复制代码

8.状态查抄

1. jps
3. #hadoop01上增加HMaster进程
4. #hadoop02，hadoop03上增加HRegionServer进程

复制代码

60010端口正常访问

9.测试

进入hbase shell，创建表、插入数据、查询（在hadoop01），如下图

至此，hbase配置完成
2.Phoenix

以下配置为三台呆板同步执行
 1.下载解压及底子配置

1. #下载phoenix-hbase-2.5-5.1.3，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
3. cd /bigdata
4. wget https://mirrors.aliyun.com/apache/phoenix/phoenix-5.1.3/phoenix-hbase-2.5-5.1.3-bin.tar.gz
5. #解压
6. tar -zxvf phoenix-hbase-2.5-5.1.3-bin.tar.gz
8. #改名并进入目录
9. mv phoenix-hbase-2.5-5.1.3-bin phoenix
10. cd phoenix
14. #修改环境变量
15. vim /etc/profile
16. #加入
17. export PHOENIX_HOME=/bigdata/phoenix
18. export PHOENIX_CLASSPATH=$PHOENIX_HOME
19. export PATH=$PHOENIX_HOME/bin:$PATH
23. #保存并刷新
24. source /etc/profile

复制代码

 2.复制server.jar及htrace文件到$HBASE_HOME/lib目录下（每台呆板都要发送）

1. #复制server.jar文件到$HBASE_HOME/lib目录下（每台机器都要发送）
3. cd /bigdata/phoenix
5. #下载htrace-core-3.1.0-incubating.jar
7. wget https://repo1.maven.org/maven2/org/apache/htrace/htrace-core/3.1.0-incubating/htrace-core-3.1.0-incubating.jar
9. #复制
10. cp /bigdata/phoenix/phoenix-server-hbase-2.5-5.1.3.jar /bigdata/hbase/lib/
11. cp /bigdata/phoenix/htrace-core-3.1.0-incubating.jar /bigdata/hbase/lib/

复制代码

 3.修改Hbase的hbase-site.xml文件配置

1. #配置hbase-site.xml，
2. vim /bigdata/hbase/conf/hbase-site.xml
4. #在<configuration>标签内加入
5. <!-- 支持可变索引 -->
6. <property>
7.         <name>hbase.regionserver.wal.codec</name>
8.         <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
9. </property>
11. <!-- 开启phoenix命名空间的自动映射 -->
12. <!-- 使用schema和Namespace对应的配置 -->
13. <property>
14.         <name>phoenix.schema.isNamespaceMappingEnabled</name>
15.         <value>true</value>
16. </property>
17. <property>
18.         <name>phoenix.schema.mapSystemTablesToNamespace</name>
19.         <value>true</value>
20. </property>
22. <!-- 开启用户自定义函数（UDFs） -->
23. <property>
24.         <name>phoenix.functions.allowUserDefinedFunctions</name>
25.         <value>true</value>
26. </property>
29. #修改好以后，保存退出
32. #将hbase-site.xml拷贝到phoenix/bin下
34. cp /bigdata/hbase/conf/hbase-site.xml /bigdata/phoenix/bin/

复制代码

4.重启Hbase

1. #重启Hbase
2. /bigdata/hbase/bin/stop-hbase.sh
3. /bigdata/hbase/bin/start-hbase.sh
5. #安装依赖
6. yum install python-argparse

复制代码

5.测试

1. #启动sqlline.py
2. /bigdata/phoenix/bin/sqlline.py
5. #查看表
6. !tables
8. #创建表
10. CREATE TABLE IF NOT EXISTS us_population (
11.       state CHAR(2) NOT NULL,
12.       city VARCHAR NOT NULL,
13.       population BIGINT
14.       CONSTRAINT my_pk PRIMARY KEY (state, city));
16. #更新表
18. UPSERT INTO us_population VALUES('NY','New York',8143197);
19. UPSERT INTO us_population VALUES('CA','Los Angeles',3844829);
20. UPSERT INTO us_population VALUES('IL','Chicago',2842518);
21. UPSERT INTO us_population VALUES('TX','Houston',2016582);
22. UPSERT INTO us_population VALUES('PA','Philadelphia',1463281);
23. UPSERT INTO us_population VALUES('AZ','Phoenix',1461575);
24. UPSERT INTO us_population VALUES('TX','San Antonio',1256509);
25. UPSERT INTO us_population VALUES('CA','San Diego',1255540);
26. UPSERT INTO us_population VALUES('CA','San Jose',912332);
28. #查看表内容
30. !desc US_POPULATION

复制代码

至此，Phoenix配置完成
八、Hive+MySQL

1.MySQL

1.安装

1. #进入bigdata文件夹
3. cd /bigdata
5. #依次执行以下命令，三台机器同步执行，期间需要输入两个y
7. wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
8. rpm -ivh mysql57-community-release-el7-9.noarch.rpm
9. rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
10. yum install mysql-server

复制代码

2.启动

1. systemctl start mysqld

复制代码

3.修改my.cnf

1. #修改my.cnf
2. vim /etc/my.cnf
4. #在最后加入
6. skip-grant-tables
7. [client]
8. port=3306
9. socket=/var/lib/mysql/mysql.sock
13. #重启mysql服务
14. systemctl restart mysqld

复制代码

4.配置远程登陆

1. #直接执行mysql，然后依次执行以下指令
3. flush privileges;
4. ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
5. flush privileges;
6. use mysql;
7. update user set Host='%' where User='root';
8. flush privileges;

复制代码

5.连接验证

正常连接，没有标题

2.Hive

1.下载安装及基本配置

1. #下载apache-hive-3.1.3，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
3. cd /bigdata
4. wget https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
6. #解压
7. tar -zxvf apache-hive-3.1.3-bin.tar.gz
9. #改名并进入目录
10. mv apache-hive-3.1.3-bin hive
11. cd hive
13. #配置环境变量
14. vim /etc/profile
16. #加入
17. export HADOOP_HOME=/bigdata/hadoop
18. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
19. export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
20. export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
21. export HIVE_HOME=/bigdata/hive
22. export HIVE_CONF_DIR=${HIVE_HOME}/conf
23. export JAVA_HOME=/bigdata/jdk1.8
24. export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$PATH
27. #保存退出并刷新
29. source /etc/profile

复制代码

2.修改hive-env.sh

1. #配置hive-env.sh
2. #先复制一份hive-env.sh.template
3. cd /bigdata/hive/conf
4. cp hive-env.sh.template hive-env.sh
5. vim hive-env.sh
7. #加入以下内容
8. export JAVA_HOME=/bigdata/jdk1.8
9. export HIVE_HOME=/bigdata/hive
10. export HIVE_CONF_DIR=/bigdata/hive/conf
11. export HIVE_AUX_JARS_PATH=/bigdata/hive/lib
12. export HADOOP_HOME=/bigdata/hadoop
14. #保存退出

复制代码

3.修改hive-site.xml

1. #先复制一份配置文件
2. cd /bigdata/hive/conf
3. cp hive-default.xml.template hive-site.xml
4. vim hive-site.xml
6. #这一部分比较啰嗦，可以按每个<property>标签中的<name>标签来寻找，然后修改<value>标签中的值，
7. #下面提供对应的<name><value>的值，一一对应，逐一修改
10.         <name>                                       <value>
11. hive.exec.local.scratchdir                      /bigdata/hive/tmp/
12. hive.downloaded.resources.dir                   /bigdata/hive/tmp/${hive.session.id}_resources
13. hive.querylog.location                          /bigdata/hive/tmp/
14. hive.server2.logging.operation.log.location     /bigdata/hive/tmp/root/operation_logs
15. javax.jdo.option.ConnectionDriverName           com.mysql.jdbc.Driver
16. javax.jdo.option.ConnectionURL                  jdbc:mysql://192.168.100.101:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8
17. javax.jdo.option.ConnectionUserName             root
18. javax.jdo.option.ConnectionPassword             root

复制代码

这里出了一个小插曲，在6步初始化时报了一个hive-site.xml第3215行的错，查看以后发现是<description>标签中有一个&符号，删掉即可，或者干脆把<description></description>整个标签及内里的内容都删掉。
4.添加JDBC驱动jar包

1. #mysql-connector-java-5.1.38-bin.jar ,到文章开始一.4百度网盘链接下载
2. #下载完成后，移动到
3. /bigdata/hive/lib       目录下

复制代码

5.在HDFS上创建目录

1. #由于在该配置文件中有如下两个配置项注明了hive在HDFS中数据存储的目录，因此我们需要在HDFS上手动创建并赋权限，也就是需要在hdfs上创建/tmp/hive 和/user/hive/warehouse
2. #在hadoop01上执行
3. hadoop fs -mkdir -p /user/hive/warehouse
4. hadoop fs -chmod -R 777 /user/hive/warehouse
5. hadoop fs -mkdir -p /tmp/hive/
6. hadoop fs -chmod -R 777 /tmp/hive

复制代码

6.对hive元数据初始化

1. /bigdata/hive/bin/schematool -initSchema -dbType mysql

复制代码

7.测试

1. #执行以下命令，进入hive交互模式
3. /bigdata/hive/bin/hive

复制代码

根据以下指令测试hive，图示显示测试没标题

至此，hive配置完成
九、Kafka

1.下载安装及基本配置

1. #下载kafka_2.13-3.7.1，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
3. cd /bigdata
4. wget https://mirrors.aliyun.com/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgz
6. #解压
7. tar -zxvf kafka_2.13-3.7.1.tar.gz
9. #改名并进入目录
10. mv kafka_2.13-3.7.1 kafka
11. cd kafka
13. #创建日志目录
14. mkdir logs
16. #配置环境变量
17. vim /etc/profile
19. #加入
20. export KAFKA_HOME=/bigdata/kafka
21. export PATH=$PATH:$KAFKA_HOME/bin
23. #保存退出并刷新
25. source /etc/profile

复制代码

2.修改server.properties

1. #配置server.properties
2. cd /bigdata/kafka/config
4. vim server.properties
6. #修改以下内容
7. broker.id=0               #默认都为0，将hadoop01保持为broker.id=0，hadoop02修改为broker.id=1,hadoop03修改为broker.id=2
9. log.dirs=/bigdata/kafka/logs          #log.dirs路径修改为/bigdata/kafka/logs
11. zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka          #zookeeper.connect修改为 hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka
13. #保存退出

复制代码

3.编写启动脚本

1. #因为启动kafka需要每台机器都执行命令，所以写一个脚本，只在hadoop01上运行即可
3. cd /bigdata
5. vim kf.sh
7. #插入以下内容
9. #!/bin/bash
11. case $1 in
12. "start"){
13.         for host in hadoop01 hadoop02 hadoop03
14.         do
15.                 echo "正在启动 $host Kafka 服务"
16.                 ssh $host "source /etc/profile;kafka-server-start.sh -daemon /bigdata/kafka/config/server.properties"
17.         done
18. };;
19. "stop"){
20.         for host in hadoop01 hadoop02 hadoop03
21.         do
22.                 echo "正在停止 $host Kafka 服务"
23.                 ssh $host 'source /etc/profile;kafka-server-stop.sh stop'
24.         done
25. };;
26. *){
27.         echo "参数有误，请选择 【start】 或 【stop】！"
28. };;
29. esac
33. #保存并退出
35. #修改kf.sh执行权限
37. chmod 777 kf.sh

复制代码

4.启动

1. #在hadoop01上执行
2. /bigdata/kf.sh

复制代码

5.查看运行状态

1. #在hadoop01上进入zkCli
3. zkCli.sh
5. ls /
8. #结果如图，kafka正常启动
10. #另外两台机器通过jps查看Kafka进程正常

复制代码

至此，kafka配置完成
十、Flume

1.下载安装及基本配置

1. #下载apache-flume-1.11.0-bin，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
3. cd /bigdata
4. wget https://mirrors.aliyun.com/apache/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz
6. #解压
7. tar -zxvf apache-flume-1.11.0-bin.tar.gz
9. #改名并进入目录
10. mv apache-flume-1.11.0-bin flume
11. cd flume
15. #配置环境变量
16. vim /etc/profile
18. #加入
19. export FLUME_CONF_DIR=$FLUME_HOME/conf
20. export PATH=$PATH:$FLUME_HOME/bin
23. #保存退出并刷新
25. source /etc/profile

复制代码

2.修改flume-env.sh

1. #配置flume-env.sh
2. cd /bigdata/flume/conf
4. #复制一份flume-env.sh
6. cp flume-env.sh.template flume-env.sh
8. vim flume-env.sh
10. #加入以下内容
11. export JAVA_HOME=/bigdata/jdk1.8
13. #保存退出

复制代码

3.编写配置文件

1. #编写配置文件供测试用
3. cd /bigdata/flume/conf
5. vim hdfs-avro.conf
7. #插入以下内容
11. # 定义这个agent的名称
12. a1.sources = r1
13. a1.sinks = k1
14. a1.channels = c1
15. # 配置源，用于监控文件
16. a1.sources.r1.type = exec
17. a1.sources.r1.command = tail -F /bigdata/flume/test/1.log
18. a1.sources.r1.channels = c1
19. # 配置接收器，用于HDFS
20. a1.sinks.k1.type = hdfs
21. a1.sinks.k1.hdfs.path = hdfs://hadoop01:9000/flume/events/%y-%m-%d/%H-%M
22. a1.sinks.k1.hdfs.filePrefix = events-
23. a1.sinks.k1.hdfs.round = true
24. a1.sinks.k1.hdfs.roundValue = 10
25. a1.sinks.k1.hdfs.roundUnit = minute
26. a1.sinks.k1.hdfs.rollInterval = 0
27. a1.sinks.k1.hdfs.rollSize = 1024
28. a1.sinks.k1.hdfs.rollCount = 0
29. a1.sinks.k1.hdfs.useLocalTimeStamp = true
30. a1.sinks.k1.channel = c1
31. # 配置通道，内存型
32. a1.channels.c1.type = memory
33. a1.channels.c1.capacity = 1000
34. a1.channels.c1.transactionCapacity = 100
35. # 绑定源和接收器到通道
36. a1.sources.r1.channels = c1
37. a1.sinks.k1.channel = c1
41. #保存退出

复制代码

4.测试

1. #在hadoop01上执行
2. cd /bigdata/flume
4. bin/flume-ng agent -c ./conf -f ./conf/hdfs-avro.conf -n a1 -Dflume.root.logger=INFO,console

复制代码

这里界面会停止，并不是卡顿，需要重新开一个hadoop01的ssh链接。

1. #在/bigdata/flume下创建test文件夹
3. cd /bigdata/flume
4. mkdir test
6. vim 1.log
7. #保存并退出，这里1.log不需要有内容，保存即可
11. #向1.log中插入内容
12. echo 'hello'>>1.log
15. #发现HDFS有监控文件生成

复制代码

至此，flume配置完成
十一、Flink+PyAlink

1.下载安装及基本配置

1. #下载flink-1.17.2-bin-scala_2.12，如果下载速度过慢，可以通过物理机浏览器下载，下载完成后通过Xftp上传到虚拟机
3. cd /bigdata
4. wget https://mirrors.aliyun.com/apache/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz
5. #解压
6. tar -zxvf flink-1.17.2-bin-scala_2.12.tar
8. #改名并进入目录
9. mv flink-1.17.2-bin-scala_2.12 flink
10. cd flink

复制代码

2.配置单节点模式、启动Cluster

1. #启动flink-cluster
2. /bigdata/flink/bin/start-cluster.sh

复制代码

访问flink web界面，没有标题

3.配置yarn模式

1. #修改yarn-conf.yaml
3. cd /bigdata/flink/conf
5. vim yarn-conf.yaml
7. #修改以下内容，注意是修改，不是新增
10. jobmanager.rpc.address: hadoop01
11. jobmanager.rpc.port: 6123
12. jobmanager.bind-host: hadoop01
13. taskmanager.bind-host: hadoop01
14. taskmanager.host: hadoop01
15. rest.address: hadoop01
16. rest.port:8081
17. rest.bind-port: 8080-8090
18. rest.bind-address: 0.0.0.0
21. #保存退出
24. vim workers
26. #修改为
27. hadoop02
28. hadoop03
30. #保存退出
32. vim masters
33. #修改为
34. hadoop01
36. #保存退出

复制代码

4.配置pyalink

1. #在所有机器上配置py3.6环境上
2. conda create -n py36 python=3.6
4. #安装完成后进入py36环境，
6. conda activate py36
8. #将py36内核添加至jupyter
9. pip install ipykernel
10. python -m ipykernel install --user --name "py36"
13. #安装pyalink
14. pip3 install pyalink --user -i https://mirrors.aliyun.com/pypi/simple --ignore-installed PyYAML
16. #切回py38环境
18. conda activate py38

复制代码

5.测试

访问jupyter，将内核修改为py36，举行测试

1. from pyalink.alink import *
2. import pandas as pd
4. useLocalEnv(1)
7. df = pd.DataFrame(
8.     [
9.         [2009, 0.5],
10.         [2010, 9.36],
11.         [2011, 52.0],
12.         [2012, 191.0],
13.         [2013, 350.0],
14.         [2014, 571.0],
15.         [2015, 912.0],
16.         [2016, 1207.0],
17.         [2017, 1682.0]
18.     ]
19. )
21. train_set = BatchOperator.fromDataframe(df, schemaStr='sumMoney double, fraud double')
24. trainer = LinearRegTrainBatchOp()\
25.     .setFeatureCols(["sumMoney"])\
26.     .setLabelCol("fraud")
28. train_set.link(trainer);
29. train_set.print()

复制代码

至此，flink配置完成
十二、总结

整个安装过程大致需要两到三个小时，详细时间因人而异，尽管安装过程已经很详细，也不免会出现一些小错误，敬请指正，更细节的配置需要根据个人需要举行摸索，下面是安装目录以及进程图

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。