云盘算与大数据课安装软件记载

目录
一、环境版本
二、安装步调
1. Ubuntu 22.04 LTS安装
2. Hadoop 3.3.3 安装
3. Hbase 2.4.13 安装
4. Zookeeper 3.7.1 安装
5. Hive 3.1.3安装
6. Eclipse JEE（2022-03）安装
7. Redis 6.0.16 的安装
8. 其他说明
三、总结

---

媒介
本文是上刘君老师的云盘算与大数据课，记载一下最新软件的安装过程，主要参考厦门大学林子雨老师的教程。另：由于非盘算机专业，以是有些地方可能有误或者非必要，欢迎指出！

---

一、环境版本

软件	版本号
Ubuntu	22.04 LTS
Hadoop	3.3.3
jdk1.8	jdk8u331
Mysql	8.0
HBase	2.4.13
Zookeeper	3.7.1
Hive	3.1.3
Eclipse	JEE(2022-03)
Redis	6.0.16

二、安装步调

1. Ubuntu 22.04 LTS安装

Ubuntu 22.04 点击下载，使用Vmware 16.2.3 Pro（该软件可自行寻找）进行假造机安装。

以上是假造机的硬件设置，根据本身电脑设置可自行修改（过低设置不建议最新版），别的本次演示体系设置的用户名与密码均是hadoop，之后的Ubuntu安装按照经验去选即可，在安装的时间记得在“更新和其他选项页面”取消“安装Ubuntu时下载更新”，由于由于网络问题，会导致下载安装时间很久
在安装完成之后，建议更换软件源，然后再进行体系软件更新，Ubuntu的cn服务器比较慢

 安装vmtools，在命令行终端（按住crtl+alt+t 进入终端)里输入

1. sudo apt install open-vm-tools-desktop

复制代码

2. Hadoop 3.3.3 安装

 由于本文是进行hadoop伪分布式实验，以是这里是为了免密码登录设置，以下命令进入命令行终端进行操作

1. sudo apt-get install openssh-server
2. ssh localhost                  # 输入 yes，然后输入用户密码
3. exit                           # 退出刚才的 ssh localhost
4. cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
5. ssh-keygen -t rsa              # 会有提示，都按回车就可以
6. cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
7. ssh localhost  #登录上去进行安装hadoop

复制代码

 先安装jdk1.8，点击下载jdk8u331

1. cd /usr/lib
2. sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
3. sudo tar -zxvf ~/下载/jdk-8u331-linux-x64.tar.gz -C /usr/lib/jvm

复制代码

设置环境变量

1. sudo apt install vim
2. vim ~/.bashrc #设置环境变量  

复制代码

 在 .bashrc 文件中加入以下代码

1. # 非命令行输入
2. export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_331
3. export JRE_HOME=/usr/lib/jvm/jdk1.8.0_331/jre
4. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
5. export PATH=${JAVA_HOME}/bin:$PATH

复制代码

使环境变量生效

1. source ~/.bashrc
2. java -version #检查是否安装成功

复制代码

下面开始安装Hadoop，设置伪分布式，官方设置伪分布式说明地点
点击下载Hadoop 3.3.3，执行以下命令

1. sudo tar -zxf ~/下载/hadoop-3.3.3.tar.gz -C /usr/local
2. cd /usr/local/
3. sudo mv ./hadoop-3.3.3/ ./hadoop            # 将文件夹名改为hadoop
4. sudo chown -R hadoop:hadoop ./hadoop      # 修改文件权限
5. cd /usr/local/hadoop
6. ./bin/hadoop version #检查 Hadoop 是否可用

复制代码

开始伪分布式设置，输入命令，修改 core-site.xml 文件

1. gedit /usr/local/hadoop/etc/hadoop/core-site.xml

复制代码

  core-site.xml 文件的 <configuration> 部分修改为以下内容

1. <configuration>
2.     <property>
3.         <name>hadoop.tmp.dir</name>
4.         <value>file:/usr/local/hadoop/tmp</value>
5.         <description>Abase for other temporary directories.</description>
6.     </property>
7.     <property>
8.         <name>fs.defaultFS</name>
9.         <value>hdfs://localhost:8020</value>
10.     </property>
11. </configuration>

复制代码

 输入命令，修改 hdfs-site.xml 文件

1. gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

复制代码

  hdfs-site.xml 文件的 <configuration> 部分修改为以下内容

1. <configuration>
2.     <property>
3.         <name>dfs.replication</name>
4.         <value>1</value>
5.     </property>
6.     <property>
7.         <name>dfs.namenode.name.dir</name>
8.         <value>file:/usr/local/hadoop/tmp/dfs/name</value>
9.     </property>
10.     <property>
11.         <name>dfs.datanode.data.dir</name>
12.         <value>file:/usr/local/hadoop/tmp/dfs/data</value>
13.     </property>
14. </configuration>

复制代码

 设置完成后执行 NameNode 的格式化:

1. cd /usr/local/hadoop
2. ./bin/hdfs namenode -format

复制代码

然后设置 hadoop-env.sh 文件

1. vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

复制代码

在 hadoop-env.sh 文件，添加以下内容

1. JAVA_HOME=/usr/lib/jvm/jdk1.8.0_331

复制代码

把hadoop添加为环境变量，编辑 .bashrc 文件

1. vim ~/.bashrc #设置环境变量  

复制代码

以下是在 .bashrc 文件添加了内容之后的截图：

​​然后保存退出文件之后，记得使在终端中使 .bashrc 文件生效

1. source ~/.bashrc

复制代码

 最后我们进行一个hadoop测试例子，首先启动hadoop

1. start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

复制代码

 启动成功截图如下：

 运行Hadoop伪分布式实例，具体参考林子雨老师教程

1. hdfs dfs -mkdir -p /user/hadoop
2. hdfs dfs -mkdir input
3. hdfs dfs -put ./etc/hadoop/*.xml input
4. hdfs dfs -ls input
5. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar grep input output 'dfs[a-z.]+'
6. hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机
7. cat ./output/*
8. ./bin/hdfs dfs -rm -r output    # Hadoop 运行程序时，输出目录不能存在，删除 output 文件夹

复制代码

运行结果截图如下：

 别的，浏览器中输入以下地点，可查察hadoop状态

1. http://localhost:9870/

复制代码

3. Hbase 2.4.13 安装

点击下载Hbase 2.4.13 ，然后执行以下命令

1. sudo tar -zxf ~/下载/hbase-2.4.13-bin.tar.gz -C /usr/local
2. sudo mv /usr/local/hbase-2.4.13 /usr/local/hbase

复制代码

添加环境变量，最后结果如下图，红框为增加部分，记得使环境变量生效：

1. vim ~/.bashrc

复制代码

1. source ~/.bashrc
2. cd /usr/local
3. sudo chown -R hadoop:hadoop ./hbase #将hbase下的所有文件的所有者改为hadoop
4. hbase version #测试是否ok

复制代码

Hbase 伪分布式设置见下节 Zookeeper 3.7.1 安装（本次实验使用内置Zookeeper遇到错误）
4. Zookeeper 3.7.1 安装

本文实验采用外置 Zookeeper 进行实验，点击下载 Zookeeper 3.7.1

1. sudo tar -zxvf ~/下载/apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local/
2. cd /usr/local/
3. sudo mv apache-zookeeper-3.7.1-bin/ zookeeper/
4. sudo chown -R hadoop:hadoop ./zookeeper
5. cd /usr/local/zookeeper/
6. cp conf/zoo_sample.cfg conf/zoo.cfg

复制代码

添加环境变量

1. vim ~/.bashrc

复制代码

1. source ~/.bashrc

复制代码

Hbase 伪分布式设置，编辑环境文件，添加以下内容：

1. vim /usr/local/hbase/conf/hbase-env.sh

复制代码

1. export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop
2. export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_331
3. export HBASE_MANAGES_ZK=false
4. export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

复制代码

编辑 hbase-site.xml 文件

1. gedit /usr/local/hbase/conf/hbase-site.xml

复制代码

hdfs-site.xml 文件的 <configuration> 部分修改为以下内容

1. <configuration>      
2.         <property>
3.                 <name>hbase.master.info.port</name>
4.                 <value>60010</value>
5.         </property>
6.         <property>
7.                 <name>hbase.rootdir</name>
8.                 <value>hdfs://localhost:8020/hbase</value>
9.         </property>
10.         <property>
11.                 <name>hbase.cluster.distributed</name>
12.                 <value>true</value>
13.         </property>
14.         <property>
15.                 <name>hbase.unsafe.stream.capability.enforce</name>
16.                 <value>false</value>
17.         </property>
18.                 <property>
19.                 <name>hbase.zookeeper.quorum</name>
20.                 <value>localhost</value>
21.         </property>
22.         <property>
23.                 <name>hbase.zookeeper.property.clientPort</name>
24.                 <value>2181</value>
25.         </property>
26. </configuration>

复制代码

启动 hbase 进行测试，启动 hbase 前，要先启动 hadoop 与zookeeper

1. start-dfs.sh #启动hadoop
2. zkServer.sh start #启动zookeeper
3. start-hbase.sh #启动hbase

复制代码

别的，浏览器中输入以下地点，可查察hbase状态

1. http://localhost:60010

复制代码

测试hbase功能

1. hbase shell

复制代码

输入建表命令，结果如下：

1. create 'Student','S_No','S_Name','S_Sex','S_Age'

复制代码

测试hbase完成，退出 exit 即可
克制hbase命令，次序与启动反向

1. stop-hbase.sh #关闭hbase
2. zkServer.sh stop #关闭zookeeper
3. stop-dfs.sh #关闭Hadoop

复制代码

5. Hive 3.1.3安装

点击下载 Hive 3.1.3，执行以下命令

1. sudo tar -zxvf ~/下载/apache-hive-3.1.3-bin.tar.gz -C /usr/local
2. cd /usr/local/
3. sudo mv apache-hive-3.1.3-bin hive
4. sudo chown -R hadoop:hadoop hive

复制代码

添加环境变量

1. vim ~/.bashrc

复制代码

1. source ~/.bashrc

复制代码

新建 hive-site.xml 文件，先执行以下命令：

1. cd /usr/local/hive/conf
2. mv hive-default.xml.template hive-default.xml
3. vim hive-site.xml

复制代码

 hive-site.xml 文件内容修改为以下，保存退出：

1. <?xml version="1.0" encoding="UTF-8" standalone="no"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <configuration>
4.   <property>
5.     <name>javax.jdo.option.ConnectionURL</name>
6.     <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
7.     <description>JDBC connect string for a JDBC metastore</description>
8.   </property>
9.   <property>
10.     <name>javax.jdo.option.ConnectionDriverName</name>
11.     <value>com.mysql.jdbc.Driver</value>
12.     <description>Driver class name for a JDBC metastore</description>
13.   </property>
14.   <property>
15.     <name>javax.jdo.option.ConnectionUserName</name>
16.     <value>hive</value>
17.     <description>username to use against metastore database</description>
18.   </property>
19.   <property>
20.     <name>javax.jdo.option.ConnectionPassword</name>
21.     <value>hive</value>
22.     <description>password to use against metastore database</description>
23.   </property>
24. </configuration>

复制代码

 安装 mysql 8.0

1. sudo apt-get install mysql-server  #安装mysql

复制代码

点击下载mysql jdbc 包

1. sudo tar -zxvf ~/下载/mysql-connector-java-8.0.28.tar.gz -C ~/下载/
2. cp ~/下载/mysql-connector-java-8.0.28/mysql-connector-java-8.0.28.jar /usr/local/hive/lib/

复制代码

进入mysql8.0，进行设置

1. sudo su #输入hadoop密码,切换到超级用户
2. mysql

复制代码

在mysql里面输入以下命令

1. create database hive;
2. USE mysql;
3. CREATE USER hive IDENTIFIED BY 'hive';
4. use hive;
5. GRANT ALL ON hive.* TO 'hive'@'%';
6. flush privileges;

复制代码

退出mysql与超级用户

1. exit;
2. su hadoop

复制代码

对hive进行测试，进入hive（启动hive之前先启动Hadoop）：

1. service mysql start #启动mysql
2. hive

复制代码

在 hive 输入命令测试（先启动Hadoop）：

1. create database hive;
2. use hive;
3. create table t1(id int, name string) stored as textile;
4. show tables;

复制代码

输入 exit; 即可退出hive
6. Eclipse JEE（2022-03）安装

点击下载 Eclipse JEE（2022-03），执行以下命令

1. cd ~/下载
2. sudo tar -zxvf eclipse-jee-2022-03-R-linux-gtk-x86_64.tar.gz -C /usr/local
3. cd /usr/local/
4. sudo chown -R hadoop:hadoop eclipse

复制代码

点击下载 hadoop3x-eclipse-plugin

1. unzip ~/下载/eclipse-hadoop3x-master.zip
2. cp ~/下载/eclipse-hadoop3x-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/local/eclipse/plugins/    # 复制到 eclipse 安装目录的 plugins 目录下
3. /usr/local/eclipse/eclipse -clean

复制代码

启动eclipse的话寻找以下路径，找到eclipse双击即可，其余参照林子雨老师的步调即可

记得这里的端口写8020（9000是hadoop2.x版本的）：  

 设置完成截图，后续直接按照林子雨老师eclipse教程即可

7. Redis 6.0.16 的安装

1. sudo apt install redis-server
2. redis-cli --raw #启动redis，--raw 避免中文乱码

复制代码

8. 其他说明

（1）课程中，要求安装的sqoop由于已经克制维护，以是不再演示安装；
（2）而Mangodb的安装在Ubuntu遇到了困难，推测可能是最新版的Ubuntu 22.04采用了openssl 3.0的缘故原由，Mangodb官网还没有支持22.04，建议直接下Windows版本来实验，或者安装20.04版本尝试；
（3）至于spark在安装的时间选择without-hadoop即可，其设置大同小异，按林子雨老师spark教程走即可

三、总结

本文主要是记载在课程中是如何安装这些软件的，主要参考林子雨老师的大数据教程写就而成，由于非科班出身，不免有所问题，请包涵
必要镜像的，点击下载体系镜像，下载后自行百度如何使用VMware打开克隆镜像

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。