Centos7.9离线部署ceph（octopus）

原创文档编写不易，未经许可请勿转载，现在仅发布于博客园，其他平台均为非法转载。文档中有疑问的可以邮件联系我文章。 邮箱：yinwanit@163.com阐明

文档适用于cenots7.9操纵体系下部署ceph octopus版本分布式存储使用。
离线部署的本质是先基于在线环境如vmware workstation虚拟机在线完整的部署一次，以获取部署所需的软件包。
文档可用于在线部署，亦可用于离线部署。
离线部署关键点（注意文章中部署描述）：

• 准备好所需的rpm包
  
• 准备好所需的docker镜像
  
• 修改cephadm代码
  

一、环境阐明


1.1  Ceph软件架构


 

 关键组件释义：

  
1.2  服务器规划

3台虚拟机，每台主机两个网段。管理和业务网络分离部署，3个监控节点。20GB磁盘安装操纵体系、40G规格磁盘裸盘配置osd。

1.3  软件清单

Vmware+centos7+docker+ceph

1.4 部署步骤

①、配置基础环境

• 关闭操纵体系安全软件
  
• 设置ip地址
  
• 设置ntp
  
• 设置主机名和hosts解析
  
• 禁用swap
  
• 配置免密登录
  
• 配置yum源
  
• 安装依靠软件
  

②、ceph软件部署

• 配置cephadm
  
• 初始化ceph集群
  
• 添加集群节点
  
• 设置mon节点
  
• 部署osd
  
• 部署mds
  
• 部署rgw
  

二、基础环境部署

2.1  关闭安全软件

所有节点均需配置。

1. ##关闭firewalld防火墙
2. # systemctl stop firewalld
3. # systemctl disable firewalld
4. # systemctl mask firewalld
6. ##关闭selinux
7. # setenforce 0
8. # sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

复制代码

2.2 设置ip地址

所有节点均需配置。

1. ##删除当前存在的配置
2. # nmcli conn delete ens33;nmcli conn delete ens36
3. ##创建新IP地址配置文件ens33
4. # nmcli conn add type ethernet  ifname ens33 con-name ens33 connection.autoconnect yes ipv4.method manual  ipv4.gateway "192.168.10.2"  ipv4.dns "192.168.10.2" ipv4.addresses  "192.168.10.100/24"
5. ##创建新IP地址配置文件ens36
6. # nmcli conn add type ethernet  ifname ens36 con-name ens36 connection.autoconnect yes ipv4.method manual ipv4.addresses  "192.168.20.100/24"
7. ##手动down，up网卡配置。
8. # nmcli conn down ens33;nmcli conn down ens33;nmcli conn up ens33;nmcli conn up ens33

复制代码

2.3  构建ntp服务器（选配）

如果环境中有可用的ntp服务器该步骤可省略，在节点中任选一台机器配置ntp服务器（只在某一台上面操纵）

1. ##编辑/etc/chrony.conf配置文件，允许节点网段访问。
2. # vim /etc/chrony.conf
3.   server 192.168.20.100 iburst
4.   allow 192.168.20.0/24
5.   local stratum 10
6. # systemctl restart chronyd
7. # systemctl enable  chronyd
8. ##查看时间是否同步
9. # chronyc sources

复制代码

2.4 节点配置ntp

所有节点均需配置。可以使用已有的ntp服务器，也可以使用上一步创建的ntp服务器。

1. ##每个节点均需要配置
2. # vim /etc/chrony.conf
3.   server 192.168.20.100 iburst
4. # systemctl restart chronyd
5. # systemctl enable  chronyd
6. ##查看时间是否同步
7. # chronyc sources

复制代码

2.5  配置主机名和hosts解析

所有节点均需配置。

1. ##配置主机名，每个节点均需要配置，红色字体部分按照实际环境替换。
2. # hostnamectl set-hostname  ceph01
4. ##每个节点均需要配置，添加蓝色字体内容
5. # cat /etc/hosts
6.   192.168.10.100 ceph01
7.   192.168.10.101 ceph02
8.   192.168.10.102 ceph03
9.   192.168.20.100 ceph01
10.   192.168.20.101 ceph02
11.   192.168.20.102 ceph03

复制代码

2.6  禁用swap

所有节点均需配置。

1. ##每个节点均需要配置，sed修改后确保/etc/fstab文件中没有swap相关行。
2. # swapoff  -a
3. # sed -i '/swap/d'  /etc/fstab

复制代码

2.7 配置免密登录

主节点上操纵即可。

1. ##生成密钥，传到其他节点上。
2. # ssh-keygen -f /root/.ssh/id_rsa -P ''
3. # ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.100
4. # ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.101
5. # ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.102

复制代码

2.8 配置yum源

所有节点均需配置。
阿里云线上centos7yum源，/etc/yum.repos.d/alibase.repo。

1. [base]
2. name=CentOS-$releasever – Base – mirrors.aliyun.com
3. failovermethod=priority
4. baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
5. gpgcheck=0
6. gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
8. #released updates
9. [updates]
10. name=CentOS-$releasever – Updates – mirrors.aliyun.com
11. failovermethod=priority
12. baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
13. gpgcheck=1
14. gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
16. #additional packages that may be useful
17. [extras]
18. name=CentOS-$releasever – Extras – mirrors.aliyun.com
19. failovermethod=priority
20. baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
21. gpgcheck=1
22. gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

复制代码

View Code清华大学octopus版本ceph yum源，/etc/yum.repos.d/qhceph.repo。

1. [ceph]
2. name=ceph
3. baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/x86_64/
4. enabled=1
5. gpgcheck=0
7. [Ceph-noarch]
8. name=Ceph noarch
9. baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/noarch/
10. enabled=1
11. gpgcheck=0
13. [Ceph-source]
14. name=Ceph SRPMS
15. baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/SRPMS/
16. enabled=1
17. gpgcheck=0

复制代码

View Code阿里云线上docker-ce yum源，/etc/yum.repos.d/alidocker-ce.repo。

1. [docker-ce-stable]
2. name=Docker CE Stable – $basearch
3. baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable
4. enabled=1
5. gpgcheck=1
6. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpgbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/SRPMS/
7. enabled=1
8. gpgcheck=0

复制代码

View Code阿里云线上cetos7 扩展yum源，/etc/yum.repos.d/alicetos-epel.repo。

1. [epel]
2. name=Extra Packages for Enterprise Linux 7 – $basearch
3. baseurl=http://mirrors.aliyun.com/epel/7/$basearch
4. #mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch
5. failovermethod=priority
6. enabled=1
7. gpgcheck=0
8. gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

复制代码

View Code阿里云线上cetos7 k8syum源，/etc/yum.repos.d/alik8s.repo。

1. [kubernetes]
2. name=Kubernetes
3. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
4. enabled=1
5. gpgcheck=1
6. repo_gpgcheck=1
7. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

复制代码

View Codeyum源配置完成过后，实行以下命令。

1. ##刷新yum源仓库，载入yum源
2. # yum clean all
3. # yum repolist

复制代码

2.9  安装依靠软件

所有节点均需配置。
[code]##安装必要的依靠软件。# yum install -y python3  yum-utils  docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin python3-ceph-common python3-ceph-argparse ceph-common ##配置docker-ce软件# cat > /etc/docker/daemon.json