头歌Hadoop 开发环境搭建及HDFS初体验(第2关:设置开发环境 - Hadoop安装 ...

笑看天下无敌手  金牌会员 | 2024-6-19 05:58:27 | 来自手机 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 998|帖子 998|积分 2994

第1关:设置开发环境 - JavaJDK的设置

第2关:设置开发环境 - Hadoop安装与伪分布式集群搭建

第3关:HDFS系统初体验 

   注:
  1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下,需要三关从前往后按顺序评测,跳关大概实验环境竣过后重新打开 不能单独评测通过
  2 复制粘贴请用右键粘贴,CTRL+C/V不管用哦~
  第1关:设置开发环境 - JavaJDK的设置:
解压:
  1. mkdir /app
  2. cd /opt
  3. tar -zxvf jdk-8u171-linux-x64.tar.gz
  4. mv jdk1.8.0_171/ /app
复制代码
设置环境变量:
  1. vim /etc/profile
复制代码
细节:vi/vim是一个全屏幕的文本编辑器。输入i进入插入模式(图1)。!!!输入完成后!!!,我们先按Esc退出,输入 :wq (保存退出)然后enter就行了(图2)。
图1:

图2: 

具体可看:Linux文本编辑器---vim详解_llinux vim_卖寂寞的小男孩的博客-CSDN博客
 输入内容如下:输入位置为文本内容末尾另起一行
  1. JAVA_HOME=/app/jdk1.8.0_171
  2. CLASSPATH=.:$JAVA_HOME/lib/tools.jar
  3. PATH=$JAVA_HOME/bin:$PATH
  4. export JAVA_HOME CLASSPATH PATH
复制代码
通过下面的命令行:使上面的设置见效 
  1. source /etc/profile
复制代码
  1. java -version
复制代码
评测! 
第2关:设置开发环境 - Hadoop安装与伪分布式集群搭建:
  1. cd /opt ll
  2. tar -zxvf hadoop-3.1.0.tar.gz -C /app
  3. cd /app
  4. mv hadoop-3.1.0/ hadoop3.1
复制代码
  1. ssh-keygen -t rsa -P ''
  2. #两次回车  图3  图4
复制代码
图3: 
图4:

  1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  2. chmod 600 ~/.ssh/authorized_keys
复制代码
  家人们对峙住,一大波vim即将来袭 !!!
  1. vim /etc/ssh/sshd_config
  2. RSAAuthentication yes # 启用 RSA 认证
  3. PubkeyAuthentication yes # 启用公钥私钥配对认证方式
  4. AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
复制代码
  1. cd /app/hadoop3.1/etc/hadoop
  2. vim hadoop-env.sh
  3. export JAVA_HOME=/app/jdk1.8.0_171
复制代码
  1. vim yarn-env.sh
  2. export JAVA_HOME=/app/jdk1.8.0_171
复制代码
  又一大波vim飘过~~~
  插入的内容放在两个<configuration>中。如下图:
  

  1. vim core-site.xml
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://localhost:9000</value>
  5. <description>HDFS的URI,文件系统://namenode标识:端口号</description>
  6. </property>
  7. <property>
  8. <name>hadoop.tmp.dir</name>
  9. <value>/usr/hadoop/tmp</value>
  10. <description>namenode上本地的hadoop临时文件夹</description>
  11. </property>
复制代码
  1. vim hdfs-site.xml
  2. <property>
  3. <name>dfs.name.dir</name>
  4. <value>/usr/hadoop/hdfs/name</value>
  5. <description>namenode上存储hdfs名字空间元数据 </description>
  6. </property>
  7. <property>
  8. <name>dfs.data.dir</name>
  9. <value>/usr/hadoop/hdfs/data</value>
  10. <description>datanode上数据块的物理存储位置</description>
  11. </property>
  12. <property>
  13. <name>dfs.replication</name>
  14. <value>1</value>
  15. </property>
复制代码
  1. vim mapred-site.xml
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
复制代码
  1. vim yarn-site.xml
  2. <property>
  3. <name>yarn.nodemanager.aux-services</name>
  4. <value>mapreduce_shuffle</value>
  5. </property>
  6. <property>
  7. <name>yarn.resourcemanager.webapp.address</name>
  8. <value>192.168.2.10:8099</value>
  9. <description>这个地址是mr管理界面的</description>
  10. </property>
复制代码
  最后一波了,挺住!!!
  将Hadoop添加到环境变量中并设置root用户可以启动hadoop
  1. mkdir /usr/hadoop
  2. mkdir /usr/hadoop/tmp
  3. mkdir /usr/hadoop/hdfs
  4. mkdir /usr/hadoop/hdfs/data
  5. mkdir /usr/hadoop/hdfs/name
复制代码
  1. vim /etc/profile
  2. # 在文件末尾插入下面代码:
  3. #set Hadoop Environment
  4. export HADOOP_HOME=/app/hadoop3.1
  5. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
复制代码
  1. source /etc/profile
复制代码
  1. hadoop namenode -format
  2. cd /app/hadoop3.1/sbin
复制代码
  下面的vim均在文件头部插入。如图:
  

  1. vim start-dfs.sh
  2. HDFS_DATANODE_USER=root
  3. HADOOP_SECURE_DN_USER=hdfs
  4. HDFS_NAMENODE_USER=root
  5. HDFS_SECONDARYNAMENODE_USER=root
复制代码
  1. vim stop-dfs.sh
  2. HDFS_DATANODE_USER=root
  3. HADOOP_SECURE_DN_USER=hdfs
  4. HDFS_NAMENODE_USER=root
  5. HDFS_SECONDARYNAMENODE_USER=root
复制代码
  1. vim start-yarn.sh
  2. YARN_RESOURCEMANAGER_USER=root
  3. HADOOP_SECURE_DN_USER=yarn
  4. YARN_NODEMANAGER_USER=root
复制代码
  1. vim stop-yarn.sh
  2. YARN_RESOURCEMANAGER_USER=root
  3. HADOOP_SECURE_DN_USER=yarn
  4. YARN_NODEMANAGER_USER=root
复制代码
原神启动,不对Hadoop启动: 
  1. start-dfs.sh
  2. jps
复制代码
评测!
第3关:HDFS系统初体验:
  1. start-dfs.sh
  2. hadoop fs -mkdir /task
  3. hadoop fs -ls /
  4. touch task.txt
复制代码
  最后一个vim了 ,加油!
  1. vim task.txt
  2. hello educoder
复制代码
 hello educoder输入完后,退出vim文本编辑器后再输入下面的内容
  1. hadoop fs -put task.txt /task
  2. hadoop fs -cat /task/task.txt
复制代码
评测!
辛苦了家人们,通过了请点点赞吧(・゚・(。>ω<。)・゚・) 
参考链接:http://t.csdn.cn/u6TEi 不过他没我的细哦(>_<)


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

笑看天下无敌手

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表