Hadoop入门必看：从零开始一步步配置大数据平台
盼望本教程能帮助你顺利搭建起自己的 Hadoop 情况，迈出大数据处置惩罚的第一步。假如你在安装过程中遇到问题，接待参考 Hadoop 官方文档或查阅相关社区的讨论，相信你会渐渐把握更多技巧，迎接大数据期间的挑战。Hadoop搭建前提：搭建三台机器
1.配置三台机器的主机名和IP地址映射
[*]
[*]
vim /etc/hosts (输入三台主机IP和对应主机名)vim /etc/hostname (输入主机名)
https://i-blog.csdnimg.cn/img_convert/5a1489a86b930ffb5f4b11a4834e7482.png
https://i-blog.csdnimg.cn/img_convert/f9dbaacb9ccd05d2e95ab8716338edf3.png
https://i-blog.csdnimg.cn/img_convert/147bdb55beb84482c5b36578d77af485.png
三台机器全部修改完毕以后 生存退出 输入reboot命令重启使其见效
2.关闭防火墙并克制开机自启动（所有节点）
[*]
[*]
[*]
systemctl stop firewalldsystemctl disable firewalld
https://i-blog.csdnimg.cn/img_convert/7f7f017676ad2970e69d15fa16fa84fd.png
3.配置免密登录
[*]
[*]
[*]
[*]
ssh-keygen -t rsa (master节点运行 一直回车生成密钥)ssh-copy-id master (将密钥文件同步至所有节点 需要输入密码)ssh-copy-id node1ssh-copy-id node2
https://i-blog.csdnimg.cn/img_convert/35e4537047ae0c51f3d31d6872b16b15.png
4.上传JDK软件包并解压（master节点）
[*]
tar -zxvf jdk1.8.0_171.tar.gz
https://i-blog.csdnimg.cn/img_convert/d5a117c2162ad271d565bfd864ae553c.png
5.配置JDK的情况变量
[*]
[*]
[*]
vim /etc/profilesource !$
https://i-blog.csdnimg.cn/img_convert/78199b272d0c6d6ac2fb5be0787ff3ea.png
6.上传Hadoop软件包并解压（master节点）
[*]
tar -zxvf hadoop-2.7.6.tar.gz
https://i-blog.csdnimg.cn/img_convert/7e1a3f1036d8ea616ba6c4d8ce7e0b1c.png
7.配置Hadoop情况变量
[*]
[*]
[*]
vim /etc/profilesource !$
https://i-blog.csdnimg.cn/img_convert/f203983b1e89109dd9cb895419b17a26.png
8.修改Hadoop配置文件
[*]
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
https://i-blog.csdnimg.cn/img_convert/c6be4ca9275eef81db0a36518ebaa6ad.png
（1）修改slaves文件 添加node1 node2
[*]
vim slaves
https://i-blog.csdnimg.cn/img_convert/4b1d25205a329b820b7e07a87b53470f.png
（2）修改hadoop-env.sh文件 添加JDK路径
https://i-blog.csdnimg.cn/img_convert/c67cc00265b98787bc201fbad1278c14.png
（3）修改core-site.xml文件 在configuration中心增长以下内容
[*]
[*]
[*]
vim core-site.xml <property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property> <property><name>hadoop.tmp.dir</name><value>/usr/local/soft/hadoop-2.7.6/tmp</value></property> <property><name>fs.trash.interval</name><value>1440</value></property> （4）修改hdfs-site.xml文件 在configuration中心增长以下内容
[*]
[*]
[*]
vim hdfs-site.xml <property><name>dfs.replication</name><value>1</value></property> <property><name>dfs.permissions</name><value>false</value></property> （5）修改yarn-site.xml文件 在configuration中心增长以下内容
[*]
[*]
vim yarn-sit.xml<property><name>yarn.resourcemanager.hostname</name><value>master</value></property> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> <property><name>yarn.log-aggregation-enable</name><value>true</value></property> <property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.1</value> </property> （6）修改mapred-site.xml文件 在configuration中心增长以下内容
[*]
[*]
cp mapred-site.xml.template mapred-site.xmlvim mapred-site.xml
[*]
[*]
[*]
<property><name>mapreduce.framework.name</name><value>yarn</value></property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> 9.将Hadoop软件包和JDK以及情况变量同步至子节点
[*]
[*]
scp -r /usr/local/soft/jdk1.8.0_171/ node1:/usr/local/soft/scp -r /usr/local/soft/jdk1.8.0_171/ node2:/usr/local/soft/scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/scp -r /etc/profile node1:/etc/scp -r /etc/profile node2:/etc/ 10.格式化namenode
[*]
hdfs namenode -format 11.启动Hadoop
[*]
[*]
[*]
start-all.sh (全部启动)start-dfs.shstart-yarn.sh 12.访问hdfs界面验证是否安装乐成
[*]
http://master.50070 13.停止hadoop
[*]
stop-all.sh
通过本教程，我们已经乐成地搭建了一个基本的 Hadoop 集群，并配置了相关的情况和服务。Hadoop 为大规模数据存储和处置惩罚提供了强盛的支持，其分布式计算框架能够帮助企业处置惩罚海量数据，提拔数据处置惩罚效率。固然本教程覆盖了基础的安装和配置步调，但实际应用中可能还会涉及更复杂的调优、故障排除及安全性配置等内容，建议根据详细需求进一步学习和探索。
祝你在大数据的旅程中取得乐成！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]