1_安装JDK和Hadoop

一、解压jdk和hadoop安装包

下载
通过百度网盘分享的文件：jdk-8u172-linux-x64.tar.gz
链接：https://pan.baidu.com/s/1VjhdpfyqdC7ivEBIjTn8tA
提取码：iz25
二、设置环境变量

1. vi /root/.bashrc

复制代码

添加

1. #set java environment
2. export JAVA_HOME=/usr/local/src/jdk1.8.0_181
3. export JRE_HOME=${JAVA_HOME}/jre
4. export CLASSPATH=.:#{JAVA_HOME}/lib:${JRE_HOME}/lib
5. export PATH=${JAVA_HOME}/bin:$PATH
6. #set hadoop environment
7. export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
8. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

三、修改Hadoop设置文件

在Hadoop解压文件夹内
cd etc/hadoop/
1.修改slaves

1. vi slaves

复制代码

添加

1. slave1
2. slave2

复制代码

2.修改hdfs-site.xml

vi hdfs-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!--关注微信公众号：阿布的进击-->
4. <!--文件：hdfs-site.xml -->
5. <!--参考地址 http://hadoop.apache.org/docs/r2.6.5/-->
6. <configuration>
7.         <property>
8.                 <name>dfs.namenode.secondary.http-address</name>
9.                 <value>master:9001</value>
10.                 <description>secondaryNamenode地址和端口</description>
11.         </property>
12.         <property>
13.                 <name>dfs.namenode.name.dir</name>
14.                 <value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>
15.                 <description>保存FsImage镜像的目录，作用是存放hadoop的名称节点namenode里的metadata</description>
16.         </property>
17.         <property>
18.                 <name>dfs.datanode.data.dir</name>
19.                 <value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>
20.                 <description>存放HDFS文件系统数据文件的目录，作用是存放hadoop的数据节点datanode里的多个数据块</description>
21.         </property>
22.         <property>
23.                 <name>dfs.replication</name>
24.                 <value>2</value>
25.                 <description>block块副本数，默认值3</description>
26.         </property>
27. </configuration>

复制代码

3.修改core-site.xml

vi core-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!--关注微信公众号：阿布的进击-->
4. <!--文件：core-site.xml -->
5. <!--参考地址 http://hadoop.apache.org/docs/r2.6.5/-->
6. <configuration>
7.         <property>
8.                 <name>fs.defaultFS</name>
9.                 <value>hdfs://master:9000</value>
10.                 <description>用来指定默认的文件系统</description>
11.         </property>
12.         <property>
13.                 <name>hadoop.tmp.dir</name>
14.                 <value>file:/usr/local/src/hadoop-2.6.1/tmp</value>
15.                 <description>hadoop临时文件存放目录</description>
16.         </property>
17. </configuration>

复制代码

4.修改yarn-site.xml

vi yarn-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!--关注微信公众号：阿布的进击-->
4. <!--文件：yarn-site.xml -->
5. <!--参考地址 http://hadoop.apache.org/docs/r2.6.5/-->
6. <configuration>
7.         <!--日志聚合相关-->
8.         <property>
9.                 <name>yarn.log-aggregation-enable</name>
10.                 <value>true</value>
11.                 <description>开启日志聚合功能，开启后日志保存在hdfs上</description>
12.         </property>
13.         <property>
14.                 <name>yarn.log-aggregation.retain-seconds</name>
15.                 <value>86400</value>
16.                 <description>聚合后的日志在hdfs上的保存时间，单位为秒</description>
17.         </property>
18.         <property>
19.                 <name>yarn.log.server.url</name>
20.                 <value>http://master:19888/jobhistory/logs</value>
21.                 <description>日志聚合服务器URL</description>
22.         </property>
23.         <property>
24.                 <name>yarn.nodemanager.aux-services</name>
25.                 <value>mapreduce_shuffle</value>
26.                 <description>NodeManager上运行的附属服务,需配置成mapreduce_shuffle，才可运行MapReduce程序</description>
27.         </property>
28.         <property>
29.                 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
30.                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
31.         </property>
32.         <property>
33.                 <name>yarn.resourcemanager.address</name>
34.                 <value>master:8032</value>
35.                 <description>RM 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序</description>
36.         </property>
37.         <property>
38.                 <name>yarn.resourcemanager.scheduler.address</name>
39.                 <value>master:8030</value>
40.                 <description>RM 对ApplicationMaster暴露的访问地址。AM通过该地址向RM申请资源、释放资源</description>
41.         </property>
42.         <property>
43.                 <name>yarn.resourcemanager.resource-tracker.address</name>
44.                 <value>master:8035</value>
45.                 <description>RM 对NodeManager暴露的地址，NM通过该地址向RM汇报心跳，领取任务</description>
46.         </property>
47.         <property>
48.                 <name>yarn.resourcemanager.admin.address</name>
49.                 <value>master:8033</value>
50.                 <description>RM 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等</description>
51.         </property>
52.         <property>
53.                 <name>yarn.resourcemanager.webapp.address</name>
54.                 <value>master:8088</value>
55.                 <description>RM对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息</description>
56.         </property>
57.         <!-- 关闭虚拟内存检查-->
58.         <property>
59.                 <name>yarn.nodemanager.pmem-check-enabled</name>
60.                 <value>false</value>
61.                 <description>是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认为true</description>
62.         </property>
63.         <property>
64.                 <name>yarn.nodemanager.vmem-check-enabled</name>
65.                 <value>false</value>
66.                 <description>是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true</description>
67.         </property>
68. </configuration>

复制代码

5.修改mapred-site.xml

vi mapred-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!--关注微信公众号：阿布的进击-->
4. <!--文件：mapred-site.xml -->
5. <!--参考地址 http://hadoop.apache.org/docs/r2.6.5/-->
6. <configuration>
7.         <property>
8.                 <name>mapreduce.framework.name</name>
9.                 <value>yarn</value>
10.                 <description>指定运行mapreduce的环境是yarn</description>
11.         </property>
12.         <!--hadoop历史服务器-->
13.         <property>
14.                 <name>mapreduce.jobhistory.address</name>
15.                 <value>master:10020</value>
16.                 <description>MR JobHistory服务器进程间通信地址</description>
17.         </property>
18.         <property>
19.                 <name>mapreduce.jobhistory.webapp.address</name>
20.                 <value>master:19888</value>
21.                 <description>MR JobHistory服务器的用户界面地址</description>
22.         </property>
23.         <property>
24.                 <name>mapreduce.jobhistory.done-dir</name>
25.                 <value>/mr-history/done</value>
26.                 <description>已执行完毕作业信息存储位置</description>
27.         </property>
28.         <property>
29.                 <name>mapreduce.jobhistory.intermediate-done-dir</name>
30.                 <value>/mr-history/tmp</value>
31.                 <description>正在运行的作业信息存储位置</description>
32.         </property>
33.         <property>
34.                 <name>yarn.app.mapreduce.am.staging-dir</name>
35.                 <value>/mr-history/hadoop-yarn/</value>
36.                 <description>MR作业在提交时所使用的临时目录， 是一个本地路径</description>
37.         </property>
38.         <property>
39.                 <name>mapreduce.map.memory.mb</name>
40.                 <value>2048</value>
41.                 <description>调度器为每个map task申请的内存数，各Job也可以单独指定，如果实际使用的资源量超过该值，则会被强制杀死</description>
42.         </property>
43.         <property>
44.                 <name>mapreduce.reduce.memory.mb</name>
45.                 <value>2048</value>
46.                 <description>调度器为每个reduce task申请的内存数，同map task，超出强制杀死</description>
47.         </property>
48.         <property>
49.                 <name>mapreduce.job.reduce.slowstart.completedmaps</name>
50.                 <value>0.8</value>
51.                 <description>当map task完成80%时，为reduce申请资源，reduce开始进行拷贝map结果数据和做reduce shuffle操作，默认0.05</description>
52.         </property>
53. </configuration>

复制代码

6.修改hadoop-env.sh

vim hadoop-env.sh

1. # 添加
2. export JAVA_HOME=/usr/local/src/jdk1.8.0_181

复制代码

7.修改yarn-env.sh

vim yarn-env.sh

1. # 添加
2. export JAVA_HOME=/usr/local/src/jdk1.8.0_181

复制代码

8.创建文件夹

cd …/…/

1. mkdir -p dfs/data
2. mkdir -p dfs/name
3. mkdir tmp

复制代码

查验设置

1. # 刷新配置文件
2. source /root/.bashrc
3. # 验证jdk
4. java -version
5. # 验证Hadoop
6. echo $HADOOP_HOME

复制代码

---

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。