分布式大数据处理Hadoop学习与探索1:虚拟机

打印 上一主题 下一主题

主题 1019|帖子 1019|积分 3057

一、实验环境


  • 系统:window 10
  • 配置:内存16GB;可用磁盘:300G;cpu核心数:8
  • 使用软件与版本:
    vmware      15.5 pro
    linux       CentOS 7.5

二、学习探索内容


  • 基本需求:完成linux虚拟机创建启动,并使用linux虚拟机搭建Hadoop分布式大数据处理环境。
  • 进阶1:基于Hadoop环境,完成离线、实时数据处理任务。并使环境、任务稳定运行一段时间。
  • 进阶2:学习探索虚拟机搭建、大数据环境搭建过程中磁盘、内存、网络等指标的范围与需求。
  • 进阶3:学习探索Hadoop大数据组件的基础配置与配置调优。
  • 进阶4:搭建、维护k8s集群。
三、安装vmware

参考博客:https://www.cnblogs.com/fuzongle/p/12760193.html
(完成难度:低)
四、使用vmware创建虚拟机

1. CentOS7.5镜像下载:链接:https://pan.baidu.com/s/18hdcWE4tYQOxMov2w0IlBQ?pwd=486k 提取码:486k

2. 安装过程参考:https://blog.csdn.net/bdqn_zyjy/article/details/120975586

(完成难度:中等)
根据这篇博客,我们就可以搭建一个linux虚拟机。其中的内存、磁盘、cpu数、核心数可根据宿主机配置与需求修改,下面会详细分析一下。
3. 安装位置与磁盘

安装位置不建议放默认的C盘,可以在其他盘创建一个专门存放虚拟机的文件夹。关于虚拟机磁盘大小,即使给虚拟机分配了100GB磁盘,只是创建、启动并不会占用多少宿主机磁盘(启动会占用内存),但是再后续使用的过程中虚拟机下载安装软件、存放数据,会增大宿主机磁盘占用。
a. 虚拟机磁盘占用与宿主机占用


  • CentOS 桌面版创建、启动后的系统磁盘占用:

  • 查看宿主机磁盘大小:发现可用容量减少了几GB

  • 关机后查看宿主机磁盘:可用容量增加4GB左右

  • 安装jdk、hadoop环境之后,开机与关机分别占用宿主机的磁盘大小
    待补充
b. 虚拟机设定值过大会怎么样


  • 将本来100GB的磁盘空间扩展为400GB。扩容后、启动虚拟机,打开任务管理器。

    结果显示可以正常创建、使用。不过推测肯定不能存储400GB数据(实际上我电脑所有盘的可用空间加起来都没有400GB了),虚拟机理论上要小于宿主机的可用空间。

c. 小结
虚拟机磁盘大小只是设置一个可用磁盘上限,并不是实际占用,也不是实际可用(所以可以随便点,不要太小就可以)。这里根据我们的需求,需创建3个虚拟机,每个100GB就可以了。
4. cpu数与核心数

cpu虚拟化
<ul>不考虑计算机虚拟化技术的话,虚拟机台数 * 虚拟机cpu个数 * cpu核心数 网络连接->启用VMnet8->鼠标右键点击VMnet8->属性->ipv4设置
IP地址:使用下面的IP地址
设置valueIP地址192.168.10.15子网掩码255.255.255.0默认网关192.168.10.2
dns设置:使用下面的DNS地址
设置value首选DNS192.168.10.2备用DNS8.8.8.82.vmware设置

编辑->虚拟网络编辑器->右下的'更改设置'
VMnet信息


  • 选中NAT模式
  • 子网IP:192.168.10.0
  • 子网掩码:255.255.255.0
编辑->虚拟网络编辑器->右下的'更改设置'->NAT设置

  • 网关:192.168.10.2
3.虚拟机设置
  1. vi /etc/sysconfig/network-scripts/ifcfg-ens33
  2. #替换为以下内容
  3. #注意这里第四行配置了静态ip
  4. DEVICE=ens33
  5. TYPE=Ethernet
  6. ONBOOT=yes
  7. BOOTPROTO=static
  8. NAME="ens33"
  9. IPADDR=192.168.10.102
  10. PREFIX=24
  11. GATEWAY=192.168.10.2
  12. DNS1=192.168.10.2
复制代码
  1. #重启网卡
  2. /etc/init.d/network restart
复制代码
7. 最小安装与图形化的使用体验

GOME图形化安装:

  • 使用方便。设置密码、查看图形化任务管理器、火狐浏览器、视频播放器、文本编辑器等都很好用。喜欢命令行也可以随时打开终端进行操作。
最小化安装:

  • 安装快。 图形化安装1400个包,最小化安装300个包。
  • 占用内存小。最小安装需要不到200MB内存,而图形化系统需要多于800MB内存。
小结:这里取舍有点难,内存紧张,用最小化吧。
8. 最终确认比较合理的虚拟机配置

内存4GB 4核心(2 * 2)磁盘100GB 最小化安装  名称:superPC01  ip:192.168.10.135
内存3GB 2核心(1 * 2)磁盘100GB 最小化安装  名称:superPC02  ip:192.168.10.136
内存3GB 2核心(1 * 2)磁盘100GB 最小化安装  名称:superPC03  ip:192.168.10.137
弄好一个,克隆,修改。
安装个 network-tools.x86_64,可以使用ifconfig命令看ip地址。
配一下静态ip,并确认网络畅通。
  1. #使用命令行测试网络
  2. ping www.baidu.com
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

莫张周刘王

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表