论坛 › 容器云 › 云计算：OpenStack 分布式架构添加LVM存储（单控制节点与多计算节点）

瑞星 发表于 2024-6-11 13:19:42

云计算：OpenStack 分布式架构添加LVM存储（单控制节点与多计算节点）

目录
一、实验
1.情况
2.安装并配置控制节点
3. 安装并配置存储节点
4.利用LVM存储

一、实验

1.情况

(1) 主机
表1 主机
主机架构IP备注controller控制节点192.168.204.210已摆设compute01计算节点1192.168.204.211 已摆设compute02计算节点2192.168.204.212已摆设storage01存储节点1192.168.204.221 （2）官网
OpenStack Docs: OpenStack Installation Guide for Red Hat Enterprise Linux and CentOS
（3）网络
 ①存储节点1  ping 控制节点
https://img-blog.csdnimg.cn/direct/f05bbc076c714c08ab633b6e92420a91.png​
②存储节点1 ping 计算节点1 与 计算节点2
https://img-blog.csdnimg.cn/direct/35d1898510eb41db89df615c60e88d88.png​
(4） 时间同步
① 存储节点1
   # yum install -y chrony
https://img-blog.csdnimg.cn/direct/b473ca0b86f849c4a3ffcd12f9631469.png​
   # vim /etc/chrony.conf
# systemctl restart chronyd.service && systemctl enable chronyd.servicehttps://img-blog.csdnimg.cn/direct/ee5db366c04247f2a8d17e694ebc1886.png​https://img-blog.csdnimg.cn/direct/03c2478b0f2a4183af22e5d02b9abb9f.png​
 ③测试
   # date

# date

# date

# datehttps://img-blog.csdnimg.cn/direct/4c2b625f6e0942c892c29cf74c8d664a.png​
https://img-blog.csdnimg.cn/direct/d408d814ab8d4ae580b0c00768917314.png​
https://img-blog.csdnimg.cn/direct/a5893d9897d04c2c917d071f6c678326.png​
https://img-blog.csdnimg.cn/direct/35631ead394e447185d99797fafcc79e.png​
(5) 控制节点查看（目前已摆设controller、compute01与compute02）
   # neutron agent-listhttps://img-blog.csdnimg.cn/direct/a4dcbb80dbbc4059b352b81886f66042.png
2.安装并配置控制节点

（1）创建数据库
①用数据库毗连客户端 （生产情况需要密码）
   $ mysql -u root -p② 创建 cinder 数据库
   CREATE DATABASE cinder;③ 允许 cinder 数据库合适的访问权限（用合适的密码替换 CINDER_DBPASS）
   GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' \
IDENTIFIED BY 'CINDER_DBPASS';
GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' \
IDENTIFIED BY 'CINDER_DBPASS';https://img-blog.csdnimg.cn/direct/4d5dabd18efb459390f7e1fec29bb11e.png​
（2）创建一个 cinder 用户
   $ openstack user create --domain default --password-prompt cinderhttps://img-blog.csdnimg.cn/direct/8470a9bb2daf4760b6985d1f55c51d78.png​（3）添加 admin 角色到 cinder 用户上
   $ openstack role add --project service --user cinder adminhttps://img-blog.csdnimg.cn/direct/80bc60d448bf44769105fda305167441.png​（4）创建 cinder 和 cinderv2 服务实体
   $ openstack service create --name cinder \
--description "OpenStack Block Storage" volume

$ openstack service create --name cinderv2 \
--description "OpenStack Block Storage" volumev2https://img-blog.csdnimg.cn/direct/636672d7d5194cdfaaa991b15cd3e863.png​
（5）查看
   # openstack service list |grep cinderhttps://img-blog.csdnimg.cn/direct/fce02f2dba0749bfb417c5bb2b213e6e.png​（6）创建块设备存储服务的 API 入口点
   $ openstack endpoint create --region RegionOne \
volume public http://controller:8776/v1/%\(tenant_id\)s

$ openstack endpoint create --region RegionOne \
volume internal http://controller:8776/v1/%\(tenant_id\)s

$ openstack endpoint create --region RegionOne \
volume admin http://controller:8776/v1/%\(tenant_id\)s

$ openstack endpoint create --region RegionOne \
volumev2 public http://controller:8776/v2/%\(tenant_id\)s

$ openstack endpoint create --region RegionOne \
volumev2 internal http://controller:8776/v2/%\(tenant_id\)s

$ openstack endpoint create --region RegionOne \
volumev2 admin http://controller:8776/v2/%\(tenant_id\)shttps://img-blog.csdnimg.cn/direct/eb88056f1ccb4ed2a7b5210fce24a6c7.png​https://img-blog.csdnimg.cn/direct/3b875f5302ef4bc9b5d9ddc8955c9575.png​
(7)查看
   ​
# openstack endpoint list |grep cinder

​https://img-blog.csdnimg.cn/direct/2b49e45308914b0b895ca92185674c61.png​
(8) 安装软件包
   # yum install openstack-cinderhttps://img-blog.csdnimg.cn/direct/5d07cbb0d0f948589f9fd5344e44d63f.png​https://img-blog.csdnimg.cn/direct/afc27f211f0349508186c15653fb207d.png​
(9) 编辑 /etc/cinder/cinder.conf
① 在 “” 和 “”部门，配置 “RabbitMQ” 消息队列访问
   
...
rpc_backend = rabbit


...
rabbit_host = controller
rabbit_userid = openstack
rabbit_password = RABBIT_PASS②在 “” 和 “” 部门，配置认证服务访问
   
...
auth_strategy = keystone


...
auth_uri = http://controller:5000
auth_url = http://controller:35357
memcached_servers = controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = CINDER_PASS③ 在 [DEFAULT 部门，配置my_ip来利用控制节点的管理接口的IP 地址
   
...
my_ip = 192.168.204.210④ 在  部门，配置锁路径
   
...
lock_path = /var/lib/cinder/tmp⑤ 备份复制
https://img-blog.csdnimg.cn/direct/5b24281c21cd4868b819cfbc53ecc824.png​
https://img-blog.csdnimg.cn/direct/552091e06a71480384e905a712013294.png​
(10) 初始化块设备服务的数据库（忽略输出中任何不推荐利用的信息）
   # su -s /bin/sh -c "cinder-manage db sync" cinderhttps://img-blog.csdnimg.cn/direct/dfcf21f623764bc9881355aa93b4b1c4.png​https://img-blog.csdnimg.cn/direct/4609f469cd524b89a56a45bfdeb43f44.png​https://img-blog.csdnimg.cn/direct/e020ebb9a5cf4358a41485789da2183e.png​https://img-blog.csdnimg.cn/direct/89e600903aaf4ce9819f050ce89ced80.png​
（11）配置计算节点以利用块设备存储
编辑文件 /etc/nova/nova.conf 
   
os_region_name = RegionOnehttps://img-blog.csdnimg.cn/direct/da39fd43670a4541b2f90335be5c7195.png​
https://img-blog.csdnimg.cn/direct/1b3f7e4e09f14bd79ef39fe025b5ae98.png​
（12）重启服务
①重启计算API 服务
   # systemctl restart openstack-nova-api.service②启动块设备存储服务，并将其配置为开机自启
   # systemctl enable openstack-cinder-api.service openstack-cinder-scheduler.service
# systemctl start openstack-cinder-api.service openstack-cinder-scheduler.servicehttps://img-blog.csdnimg.cn/direct/2e5ff02169b748afb3797363ad49e928.png​
（13）登录体系
https://img-blog.csdnimg.cn/direct/454a91b0aca3432fb8095f303a745986.png​
（14）已新增卷的模块
   https://img-blog.csdnimg.cn/direct/b444ad34b7bc4e31b10dde8575636449.png​

（15）查看卷https://img-blog.csdnimg.cn/direct/fbd06b06ab1e47f5a72ff2cedac35c32.png​
（16）查看服务列表
   # openstack service listhttps://img-blog.csdnimg.cn/direct/8b298b5ba30d483fb3aff8510b648d32.png​

3. 安装并配置存储节点

（1）安装 LVM 包
   # yum install lvm2https://img-blog.csdnimg.cn/direct/a999c6c2331d4356b814120b50f55bf0.png​https://img-blog.csdnimg.cn/direct/69a4302c7c3d456c9677dd6c6a132f3d.png​
（2）启动LVM的metadata服务而且设置该服务随体系启动
   # systemctl enable lvm2-lvmetad.service
# systemctl start lvm2-lvmetad.servicehttps://img-blog.csdnimg.cn/direct/ff06e8048e06428a81fddae4ef7edfb9.png​
（3）查看分区情况
# fdisk -l https://img-blog.csdnimg.cn/direct/6ba8b45c915d44a883527b39530ba0eb.png
(4)查看挂载情况
# df -Th https://img-blog.csdnimg.cn/direct/b62c142c9d2e46ee855029464de5363e.png
(5)创建LVM 物理卷
① 创建LVM 物理卷 /dev/sdc 
# pvcreate /dev/sdb
Physical volume "/dev/sdb" successfully created ② 创建LVM 物理卷 /dev/sdd 
# pvcreate /dev/sdc
Physical volume "/dev/sdc" successfully created ③查看
# pvs https://img-blog.csdnimg.cn/direct/3139e579384e41c590e1e5a436655544.png
(7)创建 LVM 卷组
①  创建 LVM 卷组 cinder-ssd
# vgcreate cinder-ssd /dev/sdb
Volume group "cinder-ssd" successfully created ② 创建 LVM 卷组 cinder-data
# vgcreate cinder-ssd /dev/sdc
Volume group "cinder-data" successfully created ③ 查看
# vgs https://img-blog.csdnimg.cn/direct/7d1a9c0be5f941888247b803cadf8a5e.png
(8)重新配置LVM，让它只扫描包罗指定卷组的设备，编辑/etc/lvm/lvm.conf文件
①在devices部门，添加一个过滤器，只担当/dev/sdb 与/dev/sdc 设备，拒绝其他所有设备
devices {
...
filter = [ "a/sdb/", "a/sdc/","r/.*/"] https://img-blog.csdnimg.cn/direct/a79cb09d099c4b1ca2dd9280b839d731.png
(9) 安装软件包
# yum install openstack-cinder targetcli python-keystone https://img-blog.csdnimg.cn/direct/148d415dd77c47d48f9a8b4321648bdb.png
(10) 编辑 /etc/cinder/cinder.conf
①在  部门，配置数据库访问

...
connection = mysql+pymysql://cinder:CINDER_DBPASS@controller/cinder ②在 “” 和 “”部门，配置 “RabbitMQ” 消息队列访问

...
rpc_backend = rabbit


...
rabbit_host = controller
rabbit_userid = openstack
rabbit_password = RABBIT_PASS ③ 在 “” 和 “” 部门，配置认证服务访问

...
auth_strategy = keystone


...
auth_uri = http://controller:5000
auth_url = http://controller:35357
memcached_servers = controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = CINDER_PASS ④ 在  部门，配置 my_ip 选项

...
my_ip = 192.168.204.212
 ⑤ 在部门，配置LVM后端以LVM驱动结束，卷组cinder-ssd ，iSCSI 协议和正确的 iSCSI服务

...
volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver
volume_group = cinder-ssd
iscsi_protocol = iscsi
iscsi_helper = lioadm
volume_backend_name = ssd  ⑥ 在部门，配置LVM后端以LVM驱动结束，卷组cinder-data ，iSCSI 协议和正确的 iSCSI服务

...
volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver
volume_group = cinder-data
iscsi_helper = lioadm
volume_backend_name = sata  ⑦在  部门，启用 LVM 后端

...
enabled_backends = ssd,sata ⑧在  区域，配置镜像服务 API 的位置

...
glance_api_servers = http://controller:9292 在  部门，配置锁路径

...
lock_path = /var/lib/cinder/tmp ⑨备份复制
https://img-blog.csdnimg.cn/direct/42e4aa02c559407cb96eaf2ed62ac472.pnghttps://img-blog.csdnimg.cn/direct/4e31fd87b78a496fb531cb2daffc6f5d.png
（11）完成安装
①启动块存储卷服务及其依靠的服务，并将其配置为随体系启动
# systemctl enable openstack-cinder-volume.service target.service
# systemctl start openstack-cinder-volume.service target.service https://img-blog.csdnimg.cn/direct/5b846f87dab845b2952951a2c00164db.png
(12)控制节点查看服务列表
# openstack service list https://img-blog.csdnimg.cn/direct/bbbf0a344c8f40829c16980bf6f0fb68.png
4.利用LVM存储

（1）登录体系
https://img-blog.csdnimg.cn/direct/d406d129e3cc489e8d65f2bcd724c50b.png
（2）查看卷
https://img-blog.csdnimg.cn/direct/54a0196fcfa34532ad72cd12cbd1c6ca.png
（3）创建卷
https://img-blog.csdnimg.cn/direct/e82cd02d92174a5a9fcf49bbc2534334.png
（4）完成
https://img-blog.csdnimg.cn/direct/ddf80cdd352b49f895afaa6686e61d9f.png
（5）控制节点查看
# cinder list https://img-blog.csdnimg.cn/direct/27de5ca101cb449a8d57bfd1c4c3fd4b.png
(6)存储节点查看
# lvs https://img-blog.csdnimg.cn/direct/ca7c060c90f144d1acdd0cebad67b5dd.png
(7) 扩展卷
https://img-blog.csdnimg.cn/direct/258432ae759d4806b229be76a70a6654.png
（8）修改为2G 
https://img-blog.csdnimg.cn/direct/18bf93c5615d4675a547b04fa1ead42e.png
（9）扩展中
https://img-blog.csdnimg.cn/direct/5b636ff54ee84087bb1a3047be912e99.png
（10）完成
https://img-blog.csdnimg.cn/direct/0a564608747b491c838aa06fab0e3270.png
（11）控制节点查看
# cinder list https://img-blog.csdnimg.cn/direct/b96741659f244e3fba8cce1671ca51c3.png
（12）存储节点查看
# lvs https://img-blog.csdnimg.cn/direct/5233df6109d144338d8502015432d0b0.png
（13）删除卷
https://img-blog.csdnimg.cn/direct/66f63f6f454746e991e7a7cca7ba0e03.png
（14）查看
https://img-blog.csdnimg.cn/direct/990cc2bc5d7b4e079ed10d299622f9f3.pnghttps://img-blog.csdnimg.cn/direct/e85f61f360284b049524b0aafb7961c6.png
（15）新增存储类型ssd与sata
https://img-blog.csdnimg.cn/direct/9b4bc84c58a84ab0b6f675cf65701049.png
(16) 关联后端存储
https://img-blog.csdnimg.cn/direct/21b1dc10ec4d4072a2cf5e18e3fa0394.png
（17）查看卷
https://img-blog.csdnimg.cn/direct/64ac4bbe4de04f4981a568b629f9bc78.png
（18）创建ssd类型卷
https://img-blog.csdnimg.cn/direct/407a31b5a8a54374bff18be70390bb9b.png
（19）创建中
https://img-blog.csdnimg.cn/direct/e3edf1ae1c5d454eb392fe5504555074.png
（20）完成
https://img-blog.csdnimg.cn/direct/ff03f9db277345c1abddd5a8d79d46f0.png
（21）创建sata类型卷
https://img-blog.csdnimg.cn/direct/55d271455c6744fcb775aaae877e0d32.png
(22) 创建中
https://img-blog.csdnimg.cn/direct/d7502179159b474581cf9096451c092d.png
（23）完成
https://img-blog.csdnimg.cn/direct/43b363b51d414352aba211672c39e17e.png
（24）控制节点查看
# cinder list https://img-blog.csdnimg.cn/direct/4cebc0088d5a471284dadd0fcd8256af.png
（25）存储节点查看
# lvs https://img-blog.csdnimg.cn/direct/52db3c50d16f4d69bee8294eb75c590e.png

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

查看完整版本: 云计算：OpenStack 分布式架构添加LVM存储（单控制节点与多计算节点）