ToB企服应用市场:ToB评测及商务社交产业平台

标题: cephadm离线摆设及curushmap [打印本页]
作者: 魏晓东    时间: 2024-7-27 14:43
标题: cephadm离线摆设及curushmap
预备：

体系盘raid1或raid5，数据盘直通或raid0，电口为集群网络，用作osd守护历程之间的复制、恢复、心跳，光口为存储网络，用作对外存储流量
下载cephadm：https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
yum install --downloadonly docker-ce --downloaddir=/root/offline-pkg/docker-ce
yum install --downloadonly python3 --downloaddir=/root/offline-pkg/python3
添加官方源ceph.repo，可更换为国内源

./cephadm add-repo --release Octopus
yum install --downloadonly cephadm --downloaddir=/root/offline-pkg/cephadm
yum install --downloadonly ceph-common --downloaddir=/root/offline-pkg/ceph-common
Default container images

DEFAULT_IMAGE = ‘quay.io/ceph/ceph:v15’
DEFAULT_IMAGE_IS_MASTER = False
DEFAULT_PROMETHEUS_IMAGE = ‘quay.io/prometheus/prometheus:v2.18.1’
DEFAULT_NODE_EXPORTER_IMAGE = ‘quay.io/prometheus/node-exporter:v0.18.1’
DEFAULT_ALERT_MANAGER_IMAGE = ‘quay.io/prometheus/alertmanager:v0.20.0’
DEFAULT_GRAFANA_IMAGE = ‘quay.io/ceph/ceph-grafana:6.7.4’
所有节点：

设置主机名：

hostnamectl set-hostname ceph1
hostnamectl set-hostname ceph2
配置hosts解析：

cat >> /etc/hosts <<EOF
ip1 ceph1
ip2 ceph2
ip3 ceph3
EOF
时间同步至第一节点：

vi /etc/chrony.conf
server ceph1 iburst
systemctl restart chronyd
systemctl enable chronyd
安装docker-ce、python3：

rpm -ivh /root/ceph-install/offline-pkg/docker-ce/.rpm
rpm -ivh /root/ceph-install/offline-pkg/python3/.rpm
docker load -i /root/offline-pkg/image/ceph.tar
docker load -i /root/offline-pkg/image/ceph-grafana.tar
docker load -i /root/offline-pkg/image/prometheus.tar
docker load -i /root/offline-pkg/image/alertmanager.tar
docker load -i /root/offline-pkg/image/node-exporterr.tar
ceph1节点：

时间源:

vi /etc/chrony.conf
allow all
local stratum 10
修改后的离线版cephadm添加实行权限

chmod +x cephadm
./cephadm --help
安装ceph-common、cephadm：

rpm -ivh /root/ceph-install/offline-pkg/ceph-common/*.rpm
ceph -v
rpm -ivh /root/ceph-install/offline-pkg/cephadm/*.rpm
which cephadm
引导新集群：

cephadm bootstrap --mon-ip ip1 --cluster-network ip/mask
引导下令产生以下效果：
1、为本地主机上创建新集群的monitor和manager守护程序
2、ssh密钥：/root/.ssh/authorized_keys
3、与新集群通讯的最小配置文件：/etc/ceph/ceph.conf
4、client.admin的特权级管理密钥的副本放在/etc/ceph/ceph.client.admin.keyring
5、公钥副本放在/etc/ceph/ceph.pub
成功如下所示：
Ceph Dashboard is now available at:
  1.          URL: https://ceph1:8443/
  2.         User: admin
  3.     Password: 28n1ce5qc8
复制代码
You can access the Ceph CLI with:
  1.     sudo /usr/sbin/cephadm shell --fsid 569eaaec-d4f0-11ed-8a92-000c29737e01 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
复制代码
Please consider enabling telemetry to help improve Ceph:
  1.     ceph telemetry on
复制代码
For more information see:
  1.     https://docs.ceph.com/docs/master/mgr/telemetry/
复制代码
Bootstrap complete.
ceph1公钥免密：

ssh-copy-id -f -i /etc/ceph/ceph.pub ceph2
ssh-copy-id -f -i /etc/ceph/ceph.pub ceph3
添加新主机

ceph orch host add ceph2
ceph orch host add ceph3
若成功会自动扩展mon和mgr节点
ceph -s
安装osd

前置条件：设备无分区、无lvm相关状态、无已挂载、无文件体系、无Ceph Bluestore存储引擎、大于5G
查看所有osd：ceph orch device ls
查看单机osd：ceph orch device ls --hostname=ip --wide --refresh
测试全安装：ceph orch apply osd --all-available-devices --dry-run
正式全安装：ceph orch apply osd --all-available-devices
单主机安装：ceph orch daemon add osd ip:/dev/标识
默认情况：集群内发现新硬盘会自动创建osd；若移除osd，其上数据会自动迁徙，可以通过下令禁用该功能：ceph orch apply osd --all-available-devices --unmanaged=true
补充

删除单个osd：ceph orch osd rm <osd_id(s)> [–replace] [–force]
停止删除osd：ceph orch osd rm stop <osd_id(s)>
删除单机上的所有osd：ceph orch device zap     
删除主机：ceph orch host drain   
查看删除历程：ceph orch osd rm status   
查看是否单机是否包罗ceph相关守护历程：ceph orch ps   
逼迫删除：ceph orch host rm --offline --force   
扫描设备：ceph orch host rescan [–with-summary]  
其他

RGW：是Ceph对象存储网关服务RADOS Gateway的简称，是一套基于librado接口封装而实现的FastCGI服务
libvirt：是用于管理虚拟化平台的开源api、后台程序、管理工具。它可以用于管理kvm、Xen、esxi，qemu等
librbd：是ceph基于对象存储librados之上实现的块存储接口librbd、krbdqemu，客户端都是通过它举行块设备卷的io访问
libvirt的rbd存储需要在其他ceph节点上能实行ceph的下令，以是：
mkdir -p /etc/ceph
scp /etc/ceph/ceph* ceph2:/etc/ceph
scp /etc/ceph/ceph* ceph3:/etc/ceph
crushmap

1、crush算法通过计算数据存储位置来确定如何存储和检索，授权客户端直接连接osd
2、对象通过算法被切分成数据片，分布在不同的osd上
3、提供很多种的bucket，最小的节点是osd
  1. #结构
  2. osd (or device)
  3. host #主机
  4. chassis #机架
  5. rack #机柜
  6. row
  7. pdu
  8. pod
  9. room #机房
  10. datacenter #数据中心
  11. zone #区域
  12. region #地区
  13. root #最高：根
  15. #查看crushmap
  16. ceph osd crush tree
  17. ceph osd tree
  18. # 查看详细
  19. ceph osd crush dump
  21. #查看规则
  22. ceph osd crush rule ls
  23. #某个规则关联起来的pool
  24. ceph osd pool get xxxxx crush_rule
复制代码
举例

环境: 一个pool包罗3个host，多个osd，通过不同crushmap rule分隔，数据按照不同pool rule落盘。
1、先做crushmap文件备份
2、修改引起大量pg变更，后期不要动
3、调整配置osd crush update on start = false，

  1. #创建root类型bucket，ssd是名称
  2. ceph osd crush add-bucket ssd-bucket root
  4. # 添加host类型bucket
  5. ceph osd crush add-bucket node-1-ssd-bucket host
  6. ceph osd crush add-bucket node-2-ssd-bucket host
  8. # host bucket移到root bucket中去
  9. ceph osd crush move node-1-ssd-bucket root=ssd-bucket
  10. ceph osd crush move node-2-ssd-bucket root=ssd-bucket
  12. # 把osd移到host bucket中
  13. ceph osd crush move osd.3 host=node-1-ssd-bucket root=ssd-bucket
  14. ceph osd crush move osd.4 host=node-2-ssd-bucket root=ssd-bucket
  17. ceph osd tree
  18. #规则名称、rootbucket名称、容灾机制（默认default）、host类型、磁盘类型
  19. #创建一条名为ssd-demo的新rule，将基于ssd的OSD作为复制池的目标
  20. ceph osd crush rule create-replicated ssd-rule ssd-bucket host ssd
  21. #关联pool和规则
  22. ceph osd pool set ceph-ssd crush_rule ssd-rule
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4