Hadoop入门必看：从零开始一步步配置大数据平台

盼望本教程能帮助你顺利搭建起自己的 Hadoop 情况，迈出大数据处置惩罚的第一步。假如你在安装过程中遇到问题，接待参考 Hadoop 官方文档或查阅相关社区的讨论，相信你会渐渐把握更多技巧，迎接大数据期间的挑战。
Hadoop搭建前提：搭建三台机器
1.配置三台机器的主机名和IP地址映射

• 
  
• 
  

1. vim /etc/hosts (输入三台主机IP和对应主机名)vim /etc/hostname (输入主机名)

复制代码

三台机器全部修改完毕以后 生存退出 输入reboot命令重启使其见效
2.关闭防火墙并克制开机自启动（所有节点）

• 
  
• 
  
• 
  

1. systemctl stop firewalldsystemctl disable firewalld

复制代码

3.配置免密登录

• 
  
• 
  
• 
  
• 
  

1. ssh-keygen -t rsa (master节点运行 一直回车生成密钥)ssh-copy-id master (将密钥文件同步至所有节点 需要输入密码)ssh-copy-id node1ssh-copy-id node2

复制代码

4.上传JDK软件包并解压（master节点）

• 
  

1. tar -zxvf jdk1.8.0_171.tar.gz 

复制代码

5.配置JDK的情况变量

• 
  
• 
  
• 
  

1. vim /etc/profilesource !$

复制代码

6.上传Hadoop软件包并解压（master节点）

• 
  

1. tar -zxvf hadoop-2.7.6.tar.gz

复制代码

7.配置Hadoop情况变量

• 
  
• 
  
• 
  

1. vim /etc/profilesource !$

复制代码

8.修改Hadoop配置文件

• 
  

1. cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

复制代码

（1）修改slaves文件 添加node1 node2

• 
  

1. vim slaves

复制代码

（2）修改hadoop-env.sh文件 添加JDK路径

（3）修改core-site.xml文件 在configuration中心增长以下内容

• 
  
• 
  
• 
  

1. vim core-site.xml <property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property> <property><name>hadoop.tmp.dir</name><value>/usr/local/soft/hadoop-2.7.6/tmp</value></property> <property><name>fs.trash.interval</name><value>1440</value></property>

复制代码

（4）修改hdfs-site.xml文件 在configuration中心增长以下内容

• 
  
• 
  
• 
  

1. vim hdfs-site.xml <property><name>dfs.replication</name><value>1</value></property> <property><name>dfs.permissions</name><value>false</value></property>

复制代码

（5）修改yarn-site.xml文件 在configuration中心增长以下内容

• 
  
• 
  

1. vim yarn-sit.xml<property><name>yarn.resourcemanager.hostname</name><value>master</value></property> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> <property><name>yarn.log-aggregation-enable</name><value>true</value></property> <property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property> <property>  <name>yarn.nodemanager.resource.memory-mb</name>  <value>20480</value>  </property>   <property>  <name>yarn.scheduler.minimum-allocation-mb</name>  <value>2048</value>  </property>   <property>  <name>yarn.nodemanager.vmem-pmem-ratio</name>  <value>2.1</value>  </property>  

复制代码

（6）修改mapred-site.xml文件 在configuration中心增长以下内容

• 
  
• 
  

1. cp  mapred-site.xml.template mapred-site.xmlvim mapred-site.xml

复制代码

• 
  
• 
  
• 
  

1. <property><name>mapreduce.framework.name</name><value>yarn</value></property> <property>  <name>mapreduce.jobhistory.address</name>  <value>master:10020</value>  </property>   <property>  <name>mapreduce.jobhistory.webapp.address</name>  <value>master:19888</value>  </property> 

复制代码

9.将Hadoop软件包和JDK以及情况变量同步至子节点

• 
  
• 
  

1. scp -r /usr/local/soft/jdk1.8.0_171/ node1:/usr/local/soft/scp -r /usr/local/soft/jdk1.8.0_171/ node2:/usr/local/soft/scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/scp -r /etc/profile node1:/etc/scp -r /etc/profile node2:/etc/

复制代码

10.格式化namenode

• 
  

1. hdfs namenode -format

复制代码

11.启动Hadoop

• 
  
• 
  
• 
  

1. start-all.sh (全部启动)start-dfs.shstart-yarn.sh

复制代码

12.访问hdfs界面验证是否安装乐成

• 
  

1. http://master.50070

复制代码

13.停止hadoop

• 
  

1. stop-all.sh

复制代码

通过本教程，我们已经乐成地搭建了一个基本的 Hadoop 集群，并配置了相关的情况和服务。Hadoop 为大规模数据存储和处置惩罚提供了强盛的支持，其分布式计算框架能够帮助企业处置惩罚海量数据，提拔数据处置惩罚效率。固然本教程覆盖了基础的安装和配置步调，但实际应用中可能还会涉及更复杂的调优、故障排除及安全性配置等内容，建议根据详细需求进一步学习和探索。

祝你在大数据的旅程中取得乐成！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。