头歌Hadoop 开发环境搭建及HDFS初体验（第2关：设置开发环境 - Hadoop安装 ...

第1关：设置开发环境 - JavaJDK的设置

第2关：设置开发环境 - Hadoop安装与伪分布式集群搭建

第3关：HDFS系统初体验 

   注：
  1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下，需要三关从前往后按顺序评测，跳关大概实验环境竣过后重新打开 不能单独评测通过
  2 复制粘贴请用右键粘贴，CTRL+C/V不管用哦~
  第1关：设置开发环境 - JavaJDK的设置：
解压：

1. mkdir /app
2. cd /opt
3. tar -zxvf jdk-8u171-linux-x64.tar.gz
4. mv jdk1.8.0_171/ /app

复制代码

设置环境变量：

1. vim /etc/profile

复制代码

细节：vi/vim是一个全屏幕的文本编辑器。输入i进入插入模式(图1)。！！！输入完成后！！！，我们先按Esc退出，输入 :wq （保存退出）然后enter就行了(图2)。
图1：

图2： 

具体可看：Linux文本编辑器---vim详解_llinux vim_卖寂寞的小男孩的博客-CSDN博客
 输入内容如下：输入位置为文本内容末尾另起一行

1. JAVA_HOME=/app/jdk1.8.0_171
2. CLASSPATH=.:$JAVA_HOME/lib/tools.jar
3. PATH=$JAVA_HOME/bin:$PATH
4. export JAVA_HOME CLASSPATH PATH

复制代码

通过下面的命令行：使上面的设置见效 

1. source /etc/profile

复制代码

1. java -version

复制代码

评测！ 
第2关：设置开发环境 - Hadoop安装与伪分布式集群搭建：

1. cd /opt ll
2. tar -zxvf hadoop-3.1.0.tar.gz -C /app
3. cd /app
4. mv hadoop-3.1.0/ hadoop3.1

复制代码

1. ssh-keygen -t rsa -P ''
2. #两次回车  图3  图4

复制代码

图3： 

图4：

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2. chmod 600 ~/.ssh/authorized_keys

复制代码

  家人们对峙住，一大波vim即将来袭 ！！！

1. vim /etc/ssh/sshd_config
3. RSAAuthentication yes # 启用 RSA 认证
4. PubkeyAuthentication yes # 启用公钥私钥配对认证方式
5. AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

复制代码

1. cd /app/hadoop3.1/etc/hadoop
2. vim hadoop-env.sh
4. export JAVA_HOME=/app/jdk1.8.0_171

复制代码

1. vim yarn-env.sh
3. export JAVA_HOME=/app/jdk1.8.0_171

复制代码

  又一大波vim飘过~~~
  插入的内容放在两个<configuration>中。如下图：
  

1. vim core-site.xml
3. <property>
4. <name>fs.default.name</name>
5. <value>hdfs://localhost:9000</value>
6. <description>HDFS的URI，文件系统://namenode标识:端口号</description>
7. </property>
8. <property>
9. <name>hadoop.tmp.dir</name>
10. <value>/usr/hadoop/tmp</value>
11. <description>namenode上本地的hadoop临时文件夹</description>
12. </property>

复制代码

1. vim hdfs-site.xml
3. <property>
4. <name>dfs.name.dir</name>
5. <value>/usr/hadoop/hdfs/name</value>
6. <description>namenode上存储hdfs名字空间元数据 </description>
7. </property>
8. <property>
9. <name>dfs.data.dir</name>
10. <value>/usr/hadoop/hdfs/data</value>
11. <description>datanode上数据块的物理存储位置</description>
12. </property>
13. <property>
14. <name>dfs.replication</name>
15. <value>1</value>
16. </property>

复制代码

1. vim mapred-site.xml
3. <property>
4. <name>mapreduce.framework.name</name>
5. <value>yarn</value>
6. </property>

复制代码

1. vim yarn-site.xml
3. <property>
4. <name>yarn.nodemanager.aux-services</name>
5. <value>mapreduce_shuffle</value>
6. </property>
7. <property>
8. <name>yarn.resourcemanager.webapp.address</name>
9. <value>192.168.2.10:8099</value>
10. <description>这个地址是mr管理界面的</description>
11. </property>

复制代码

  最后一波了，挺住！！！
  将Hadoop添加到环境变量中并设置root用户可以启动hadoop

1. mkdir /usr/hadoop
2. mkdir /usr/hadoop/tmp
3. mkdir /usr/hadoop/hdfs
4. mkdir /usr/hadoop/hdfs/data
5. mkdir /usr/hadoop/hdfs/name

复制代码

1. vim /etc/profile
3. # 在文件末尾插入下面代码：
4. #set Hadoop Environment
5. export HADOOP_HOME=/app/hadoop3.1
6. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

1. source /etc/profile

复制代码

1. hadoop namenode -format
2. cd /app/hadoop3.1/sbin

复制代码

  下面的vim均在文件头部插入。如图：
  

1. vim start-dfs.sh
3. HDFS_DATANODE_USER=root
4. HADOOP_SECURE_DN_USER=hdfs
5. HDFS_NAMENODE_USER=root
6. HDFS_SECONDARYNAMENODE_USER=root

复制代码

1. vim stop-dfs.sh
3. HDFS_DATANODE_USER=root
4. HADOOP_SECURE_DN_USER=hdfs
5. HDFS_NAMENODE_USER=root
6. HDFS_SECONDARYNAMENODE_USER=root

复制代码

1. vim start-yarn.sh
3. YARN_RESOURCEMANAGER_USER=root
4. HADOOP_SECURE_DN_USER=yarn
5. YARN_NODEMANAGER_USER=root

复制代码

1. vim stop-yarn.sh
3. YARN_RESOURCEMANAGER_USER=root
4. HADOOP_SECURE_DN_USER=yarn
5. YARN_NODEMANAGER_USER=root

复制代码

原神启动，不对Hadoop启动： 

1. start-dfs.sh
2. jps

复制代码

评测！
第3关：HDFS系统初体验：

1. start-dfs.sh
2. hadoop fs -mkdir /task
3. hadoop fs -ls /
4. touch task.txt

复制代码

  最后一个vim了 ，加油！

1. vim task.txt
3. hello educoder

复制代码

 hello educoder输入完后，退出vim文本编辑器后再输入下面的内容

1. hadoop fs -put task.txt /task
2. hadoop fs -cat /task/task.txt

复制代码

评测！
辛苦了家人们，通过了请点点赞吧（･ﾟ･(｡>ω<｡)･ﾟ･） 
参考链接：http://t.csdn.cn/u6TEi 不过他没我的细哦(>_<)


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。