IT评测·应用市场-qidao123.com

标题: 分布式大数据处理Hadoop学习与探索1：虚拟机 [打印本页]

---

作者: 莫张周刘王    时间: 2022-9-16 17:14
标题: 分布式大数据处理Hadoop学习与探索1：虚拟机
一、实验环境

• 系统：window 10
  
• 配置：内存16GB；可用磁盘：300G；cpu核心数：8
  
• 使用软件与版本：
  vmware      15.5 pro
  linux       CentOS 7.5
  

• 如何查看cpu核心数：https://www.cnblogs.com/zhangchao0515/p/15250319.html
  （完成难度：低）
  

二、学习探索内容

• 基本需求：完成linux虚拟机创建启动，并使用linux虚拟机搭建Hadoop分布式大数据处理环境。
  
• 进阶1：基于Hadoop环境，完成离线、实时数据处理任务。并使环境、任务稳定运行一段时间。
  
• 进阶2：学习探索虚拟机搭建、大数据环境搭建过程中磁盘、内存、网络等指标的范围与需求。
  
• 进阶3：学习探索Hadoop大数据组件的基础配置与配置调优。
  
• 进阶4：搭建、维护k8s集群。
  

三、安装vmware

参考博客：https://www.cnblogs.com/fuzongle/p/12760193.html
（完成难度：低）
四、使用vmware创建虚拟机

1. CentOS7.5镜像下载：链接:https://pan.baidu.com/s/18hdcWE4tYQOxMov2w0IlBQ?pwd=486k 提取码:486k

2. 安装过程参考：https://blog.csdn.net/bdqn_zyjy/article/details/120975586

（完成难度：中等）
根据这篇博客，我们就可以搭建一个linux虚拟机。其中的内存、磁盘、cpu数、核心数可根据宿主机配置与需求修改，下面会详细分析一下。
3. 安装位置与磁盘

安装位置不建议放默认的C盘，可以在其他盘创建一个专门存放虚拟机的文件夹。关于虚拟机磁盘大小，即使给虚拟机分配了100GB磁盘，只是创建、启动并不会占用多少宿主机磁盘（启动会占用内存），但是再后续使用的过程中虚拟机下载安装软件、存放数据，会增大宿主机磁盘占用。

a. 虚拟机磁盘占用与宿主机占用

• CentOS 桌面版创建、启动后的系统磁盘占用：
  
  
• 查看宿主机磁盘大小：发现可用容量减少了几GB
  
  
• 关机后查看宿主机磁盘：可用容量增加4GB左右
  
  
• 安装jdk、hadoop环境之后，开机与关机分别占用宿主机的磁盘大小
  待补充
  

b. 虚拟机设定值过大会怎么样

• 将本来100GB的磁盘空间扩展为400GB。扩容后、启动虚拟机，打开任务管理器。
  
  结果显示可以正常创建、使用。不过推测肯定不能存储400GB数据（实际上我电脑所有盘的可用空间加起来都没有400GB了），虚拟机理论上要小于宿主机的可用空间。
  
  

c. 小结
虚拟机磁盘大小只是设置一个可用磁盘上限，并不是实际占用，也不是实际可用（所以可以随便点，不要太小就可以）。这里根据我们的需求，需创建3个虚拟机，每个100GB就可以了。

4. cpu数与核心数

cpu虚拟化

<ul>不考虑计算机虚拟化技术的话，虚拟机台数 * 虚拟机cpu个数 * cpu核心数 网络连接->启用VMnet8->鼠标右键点击VMnet8->属性->ipv4设置

IP地址:使用下面的IP地址

设置valueIP地址192.168.10.15子网掩码255.255.255.0默认网关192.168.10.2

dns设置:使用下面的DNS地址

设置value首选DNS192.168.10.2备用DNS8.8.8.82.vmware设置

编辑->虚拟网络编辑器->右下的'更改设置'

VMnet信息

• 选中NAT模式
  
• 子网IP:192.168.10.0
  
• 子网掩码:255.255.255.0
  

编辑->虚拟网络编辑器->右下的'更改设置'->NAT设置

• 网关:192.168.10.2
  

3.虚拟机设置

1. vi /etc/sysconfig/network-scripts/ifcfg-ens33
3. #替换为以下内容
4. #注意这里第四行配置了静态ip
6. DEVICE=ens33
7. TYPE=Ethernet
8. ONBOOT=yes
9. BOOTPROTO=static
10. NAME="ens33"
11. IPADDR=192.168.10.102
12. PREFIX=24
13. GATEWAY=192.168.10.2
14. DNS1=192.168.10.2

复制代码

1. #重启网卡
2. /etc/init.d/network restart

复制代码

7. 最小安装与图形化的使用体验

GOME图形化安装：

• 使用方便。设置密码、查看图形化任务管理器、火狐浏览器、视频播放器、文本编辑器等都很好用。喜欢命令行也可以随时打开终端进行操作。
  

最小化安装：

• 安装快。 图形化安装1400个包，最小化安装300个包。
  
• 占用内存小。最小安装需要不到200MB内存，而图形化系统需要多于800MB内存。
  

小结：这里取舍有点难，内存紧张，用最小化吧。
8. 最终确认比较合理的虚拟机配置

内存4GB 4核心（2 * 2）磁盘100GB 最小化安装  名称：superPC01  ip：192.168.10.135
内存3GB 2核心（1 * 2）磁盘100GB 最小化安装  名称：superPC02  ip：192.168.10.136
内存3GB 2核心（1 * 2）磁盘100GB 最小化安装  名称：superPC03  ip：192.168.10.137
弄好一个，克隆，修改。
安装个 network-tools.x86_64，可以使用ifconfig命令看ip地址。
配一下静态ip，并确认网络畅通。

1. #使用命令行测试网络
2. ping www.baidu.com

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4