2024云计算省赛总结(2)，读完我这份《大数据开发开发核心源码精编分析》面 ...

我爱普洱茶  金牌会员 | 2024-6-15 01:51:51 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 636|帖子 636|积分 1908

Number Start End Size File system Name Flags
1 1049kB 2097kB 1049kB bios_grub
2 2097kB 1076MB 1074MB xfs
3 1076MB 1083GB 1082GB lvm
(parted) mkpart cinder 1084G 1184G
(parted) mkpart swift 1185G 1285G
(parted) p
Model: Linux Software RAID Array (md)
Disk /dev/md126: 3801GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: pmbr_boot
Number Start End Size File system Name Flags
1 1049kB 2097kB 1049kB bios_grub
2 2097kB 1076MB 1074MB xfs
3 1076MB 1083GB 1082GB lvm
4 1084GB 1184GB 100GB cinder
5 1185GB 1285GB 100GB swift
[root@compute ~]# mkfs.xfs /dev/md126p4
meta-data=/dev/md126p6 isize=512 agcount=8, agsize=30496 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=243968, imaxpct=25
= sunit=32 swidth=64 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=1056, version=2
= sectsz=512 sunit=32 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@compute ~]# mkfs.xfs /dev/md126p5
meta-data=/dev/md126p6 isize=512 agcount=8, agsize=30496 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=243968, imaxpct=25
= sunit=32 swidth=64 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=1056, version=2
= sectsz=512 sunit=32 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
2 设置网络、主机名
修改和添加/etc/sysconfig/network-scripts/ifcfg-enp*（具体的网口）文件。
（1）controller节点
设置网络：
enp8s0: 192.168.100.10
DEVICE=enp8s0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.100.10
PREFIX=24
GATEWAY=192.168.100.1
enp9s0: 192.168.200.10
DEVICE=enp9s0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.200.10
PREFIX=24
设置主机名：
hostnamectl set-hostname controller

按ctrl+d 退出 重新登陆
（2）compute 节点
设置网络：
enp8s0: 192.168.100.20
DEVICE=enp8s0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.100.20
PREFIX=24
GATEWAY=192.168.100.1
enp9s0: 192.168.200.20
DEVICE=enp9s0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.200.20
PREFIX=24
设置主机名：
hostnamectl set-hostname compute

按ctrl+d 退出 重新登陆
3 设置yum源
#Controller和compute节点
（1）yum源备份
#rm -rf /etc/yum.repos.d/*
（2）创建repo文件
【controller】
在/etc/yum.repos.d创建centos.repo源文件
vi /etc/yum.repos.d/local.repo

[centos]
name=centos
baseurl=file:///opt/centos
gpgcheck=0
enabled=1
[iaas]
name=iaas
baseurl=file:///opt/iaas/iaas-repo
gpgcheck=0
enabled=1
【compute】
在/etc/yum.repos.d创建centos.repo源文件
vi /etc/yum.repos.d/local.repo

[root@compute ~]# vi /etc/yum.repos.d/local.repo
[centos]
name=centos
baseurl=ftp://controller/centos
gpgcheck=0
enabled=1
[iaas]
name=iaas
baseurl=ftp://controller/iaas/iaas-repo
gpgcheck=0
enabled=1
主机名映射
[root@controller ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.10 controller
192.168.100.20 compute
[root@compute ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.10 controller
192.168.100.20 compute
（3）挂载iso文件
【挂载CentOS-7-x86_64-DVD-1804.iso】
[root@controller ~]# mount -o loop CentOS-7-x86_64-DVD-1804.iso /mnt/
[root@controller ~]# mkdir /opt/centos
[root@controller ~]# mkdir /opt/iaas
[root@controller ~]# cp -rvf /mnt/* /opt/centos/
[root@controller ~]# umount /mnt/
【挂载XianDian-IaaS-v2.4.iso】
[root@controller ~]# mount -o loop chinaskills_cloud_iaas.iso /mnt/
mount: /dev/loop0 is write-protected, mounting read-only
[root@controller ~]# cp -rvf /mnt/* /opt/iaas
（4）搭建ftp服务器，开启并设置自启
[root@controller ~]# yum install vsftpd -y
[root@controller ~]# vi /etc/vsftpd/vsftpd.conf
添加anon_root=/opt/
保存退出
[root@controller ~]# systemctl start vsftpd
[root@controller ~]# systemctl enable vsftpd
（5）设置防火墙和Selinux
【controller/compute】
编辑selinux文件
vi /etc/selinux/config

SELINUX=permissive
[root@controller ~]# setenforce 0
关闭防火墙并设置开机不自启
systemctl stop firewalld.service

systemctl disable firewalld.service

（6）扫除缓存，验证yum源
【controller/compute】
yum clean all

yum list

4 编辑情况变量
controller和compute节点

yum install iaas-xiandian -y

编辑文件/etc/xiandian/openrc.sh,此文件是安装过程中的各项参数，根据每项参数上一行的说明及服务器现实情况举行设置。
Vim模式删除全部内容:%d
##--------------------system Config--------------------##
##Controller Server Manager IP. example:x.x.x.x
HOST_IP=192.168.100.10
##Controller HOST Password. example:000000
HOST_PASS=000000
##Controller Server hostname. example:controller
HOST_NAME=controller
##Compute Node Manager IP. example:x.x.x.x
HOST_IP_NODE=192.168.100.20
##Compute HOST Password. example:000000
HOST_PASS_NODE=000000
##Compute Node hostname. example:compute
HOST_NAME_NODE=compute
##--------------------Chrony Config-------------------##
##Controller network segment IP. example:x.x.0.0/16(x.x.x.0/24)
network_segment_IP=192.168.100.0/24
##--------------------Rabbit Config ------------------##
##user for rabbit. examplepenstack
RABBIT_USER=openstack
##Password for rabbit user .example:000000
RABBIT_PASS=000000
##--------------------MySQL Config---------------------##
##Password for MySQL root user . exmaple:000000
DB_PASS=000000
##--------------------Keystone Config------------------##
##Password for Keystore admin user. exmaple:000000
DOMAIN_NAME=demo
ADMIN_PASS=000000
DEMO_PASS=000000
##Password for Mysql keystore user. exmaple:000000
KEYSTONE_DBPASS=000000
##--------------------Glance Config--------------------##
##Password for Mysql glance user. exmaple:000000
GLANCE_DBPASS=000000
##Password for Keystore glance user. exmaple:000000
GLANCE_PASS=000000
##--------------------Nova Config----------------------##
##Password for Mysql nova user. exmaple:000000
NOVA_DBPASS=000000
##Password for Keystore nova user. exmaple:000000
NOVA_PASS=000000
##--------------------Neturon Config-------------------##
##Password for Mysql neutron user. exmaple:000000
NEUTRON_DBPASS=000000
##Password for Keystore neutron user. exmaple:000000
NEUTRON_PASS=000000
##metadata secret for neutron. exmaple:000000
METADATA_SECRET=000000
##Tunnel Network Interface. example:x.x.x.x
INTERFACE_IP=192.168.100.10
##External Network Interface. example:eth1
INTERFACE_NAME=enp8s0
##External Network The Physical Adapter. example:provider
Physical_NAME=provider
##First Vlan ID in VLAN RANGE for VLAN Network. exmaple:101
minvlan=2
##Last Vlan ID in VLAN RANGE for VLAN Network. example:200
maxvlan=300
##--------------------Cinder Config--------------------##
##Password for Mysql cinder user. exmaple:000000
CINDER_DBPASS=000000
##Password for Keystore cinder user. exmaple:000000
CINDER_PASS=000000
##Cinder Block Disk. example:md126p3
BLOCK_DISK=md126p4
##--------------------Swift Config---------------------##
##Password for Keystore swift user. exmaple:000000
SWIFT_PASS=000000
##The NODE Object Disk for Swift. example:md126p4.
OBJECT_DISK=md126p5
##The NODE IP for Swift Storage Network. example:x.x.x.x.
STORAGE_LOCAL_NET_IP=192.168.100.20
##--------------------Heat Config----------------------##
##Password for Mysql heat user. exmaple:000000
HEAT_DBPASS=000000
##Password for Keystore heat user. exmaple:000000
HEAT_PASS=000000
##--------------------Zun Config-----------------------##
##Password for Mysql Zun user. exmaple:000000
ZUN_DBPASS=000000
##Password for Keystore Zun user. exmaple:000000
ZUN_PASS=000000
##Password for Mysql Kuryr user. exmaple:000000
KURYR_DBPASS=000000
##Password for Keystore Kuryr user. exmaple:000000
KURYR_PASS=000000
##--------------------Ceilometer Config----------------##
##Password for Gnocchi ceilometer user. exmaple:000000
CEILOMETER_DBPASS=000000
##Password for Keystore ceilometer user. exmaple:000000
CEILOMETER_PASS=000000
##--------------------AODH Config----------------##
##Password for Mysql AODH user. exmaple:000000
AODH_DBPASS=000000
##Password for Keystore AODH user. exmaple:000000
AODH_PASS=000000
##--------------------Barbican Config----------------##
##Password for Mysql Barbican user. exmaple:000000
BARBICAN_DBPASS=000000
##Password for Keystore Barbican user. exmaple:000000
BARBICAN_PASS=000000
scp /etc/xiandian/openrc.sh root@compute://etc/xiandian/

The authenticity of host ‘compute (192.168.100.20)’ can’t be established.
ECDSA key fingerprint is SHA256:RShHiJfjbyvHe3iH59hzhlPJAA2GdgjbtyvrgvbBiQ4.
ECDSA key fingerprint is MD5:a1:50:ff:a2:d0:6a:5b:2d:f0:ee:07:d5:f4:12:d3:71.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘compute,192.168.100.20’ (ECDSA) to the list of known hosts.
root@compute’s password:
openrc.sh 100% 3881 2.5MB/s 00:00
Compute节点修改tunnel IP
5 通过脚本安装私有云平台
以下脚本按次序执行！
Controller:
iaas-pre-host.sh
reboot
iaas-install-mysql.sh
iaas-install-keystone.sh
iaas-install-glance.sh
iaas-install-nova-controller.sh
iaas-install-neutron-controller.sh
iaas-install-dashboard.sh
iaas-install-cinder-controller.sh
iaas-install-swift-controller.sh
iaas-install-nova-compute.sh(修改设置之后运行)
Compute:
iaas-pre-host.sh
reboot
iaas-install-nova-compute.sh
iaas-install-neutron-compute.sh
iaas-install-cinder-compute.sh
iaas-install-swift-compute.sh
6 创建云主机
流程：
（1）管理员->资源管理->云主机类型->创建云主机类型
（2）管理员->网络->网络->创建网络
（2）项目->网络->安全组->管理规则->添加规则（ICMP、TCP、UDP）
（3）项目->资源管理->云主机->创建云主机
7 云平台创建云主机
1 创建云主机类型


2 创建云主机网络

选择vlan模式，网络要和外网网卡一个网段，段ID要选择外网网卡地点网段



2.1绑定固定网络


3 修改安全组

4 上传镜像
[root@controller ~]# source /etc/keystone/admin-openrc.sh
[root@controller ~]# glance image-create --name “CentOS7.5” --disk-format qcow2 --container-format bare --progress < /opt/iaas/images/CentOS_7.5_x86_64_XD.qcow2
[=============================>] 100%
±-----------------±-------------------------------------+
…
5 创建云主机

6 测试连接


8 Openstack命令创建云主机
1 创建云主机类型

使用命令创建一个名为 test ，ID为 6 ，内存为 2048MB ，磁盘为 10GB ，vcpu数量为 2 的云主机类型。
nova flavor-create test 6 2048 10 2
±—±-----±----------±-----±----------±-----±------±------------±----------±------------+
| ID | Name | Memory_MB | Disk | Ephemeral | Swap | VCPUs | RXTX_Factor | Is_Public | Description |
±—±-----±----------±-----±----------±-----±------±------------±----------±------------+
| 6 | test | 2048 | 10 | 0 | | 2 | 1.0 | True | - |
±—±-----±----------±-----±----------±-----±------±------------±----------±------------
2 创建云主机网络

思绪：查看云平台创建好的网络，查看它的具体信息，用命令创建的时间，指定参数即可！
[root@controller ~]# neutron net-create --router:external --provider:network_type vlan --provider:physical_network provider --provider:segmentation_id 200 ext
neutron CLI is deprecated and will be removed in the future. Use openstack CLI instead.
Created a new network:
±--------------------------±-------------------------------------+
| Field | Value |
±--------------------------±-------------------------------------+
| admin_state_up | True |
| availability_zone_hints | |
| availability_zones | |
| created_at | 2020-12-01T00:22:18Z |
| description | |
| id | 37edbae1-9478-472e-a681-8587fbb464fb |
| ipv4_address_scope | |
| ipv6_address_scope | |
| is_default | False |
| mtu | 1500 |
| name | ext |
| port_security_enabled | True |
| project_id | 213eb58e471448cf969fd925382bc08d |
| provider:network_type | vlan |
自我先容一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里不停到现在。
深知大多数大数据工程师，想要提拔技能，往往是自己探索发展大概是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易遇到天花板技术故步自封！
因此收集整理了一份《2024年大数据全套学习资料》，初志也很简单，就是盼望能够资助到想自学提拔又不知道该从何学起的朋侪。





既有得当小白学习的零基础资料，也有得当3年以上经验的小同伴深入学习提拔的进阶课程，根本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比力大，这里只是将部门目次大纲截图出来，每个节点里面都包罗大厂面经、学习笔记、源码课本、实战项目、解说视频，并且后续会持续更新
如果你觉得这些内容对你有资助，可以添加VX：vip204888 （备注大数据获取）

一个人可以走的很快，但一群人才华走的更远。不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎扫码参加我们的的圈子（技术交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！
  1.     | ext                                  |
复制代码
| port_security_enabled | True |
| project_id | 213eb58e471448cf969fd925382bc08d |
| provider:network_type | vlan |
自我先容一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里不停到现在。
深知大多数大数据工程师，想要提拔技能，往往是自己探索发展大概是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易遇到天花板技术故步自封！
因此收集整理了一份《2024年大数据全套学习资料》，初志也很简单，就是盼望能够资助到想自学提拔又不知道该从何学起的朋侪。
[外链图片转存中…(img-aRGJ2X8l-1712947586280)]
[外链图片转存中…(img-PJeeIhfP-1712947586281)]
[外链图片转存中…(img-eg8Rd4MX-1712947586281)]
[外链图片转存中…(img-kVLW6rr6-1712947586282)]
[外链图片转存中…(img-Wtwtr6xr-1712947586282)]
既有得当小白学习的零基础资料，也有得当3年以上经验的小同伴深入学习提拔的进阶课程，根本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比力大，这里只是将部门目次大纲截图出来，每个节点里面都包罗大厂面经、学习笔记、源码课本、实战项目、解说视频，并且后续会持续更新
如果你觉得这些内容对你有资助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-ulM9QMAs-1712947586282)]
一个人可以走的很快，但一群人才华走的更远。不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎扫码参加我们的的圈子（技术交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

我爱普洱茶

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表