信创环境下分布式文件存储MinIO集群部署

背景

本次项目涉及20+台服务器的部署，技术包括 Nacos 注册中心集群、 GateWay 网关服务集群、 达梦8 关系型数据库服务集群、 MinIO 分布式文件存储服务集群、 Redis 缓存服务集群、 WebSocket 服务端消息推送集群、 Quartz 定时任务服务集群、 Nginx+KeepAlived 反向代理高可用集群、监控服务集群等。这里主要记录下分布式文件存储服务集群以及缓存服务集群的搭建过程。

• Nginx+KeepAlived 反向代理高可用集群，这个跟之前华为云上的集群搭建类似，参考：Nginx高可用极速实战：通过KeepAlived与华为云虚拟IP实现
  
• MinIO 分布式文件存储服务集群
  
• Redis 缓存服务集群
  

云服务资源

• 172.27.204.115
  
• 172.27.204.101
  
• 172.27.204.110
  
• 172.27.204.151
  

系统信息

1. # 查看系统内核信息
2. [root@sx-std-oss-220420-0001 opt]# uname -a
3. Linux sx-std-oss-220420-0001.novalocal 4.19.90-17.ky10.aarch64 #1 SMP Sun Jun 28 14:27:40 CST 2020 aarch64 aarch64 aarch64 GNU/Linux
5. # 查看系统版本信息
6. [root@sx-std-oss-220420-0001 opt]# cat /etc/os-release
7. NAME="Kylin Linux Advanced Server"
8. VERSION="V10 (Tercel)"
9. ID="kylin"
10. VERSION_ID="V10"
11. PRETTY_NAME="Kylin Linux Advanced Server V10 (Tercel)"
12. ANSI_COLOR="0;31"

复制代码

Note：以下所有操作分别在4台主机上操作，文件传输： scp minio root@172.27.204.151:/opt/
挂载

在4台主机上创建目录并挂载。

1. mkdir -p /data/minio
2. mount /dev/vda1 /data/minio

复制代码

编写启动脚本

• 新建脚本
  

1. cd /opt
2. vi start-minio.sh
4. #!/bin/bash
5. export MINIO_ACCESS_KEY=Hello
6. export MINIO_SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLE
8. /opt/minio server \
9. http://172.27.204.115/data/minio http://172.27.204.101/data/minio \
10. http://172.27.204.110/data/minio http://172.27.204.151/data/minio

复制代码

• 赋予执行权限
  

1. chmod +x start-minio.sh
3. chmod +x minio

复制代码

编写服务脚本

• 新建脚本
  

1. vi /lib/systemd/system/minio.service
3. [Unit]
4. Description=Minio service
5. Documentation=https://docs.minio.io/
7. [Service]
8. WorkingDirectory=/opt/
9. ExecStart=/opt/start-minio.sh
10. Restart=on-failure
11. RestartSec=5
13. [Install]
14. WantedBy=multi-user.target

复制代码

• 验证系统服务
  

1. systemctl list-unit-files | grep minio
2. systemctl enable minio
3. systemctl list-unit-files | grep minio
5. systemctl status minio
6. systemctl start minio

复制代码

关闭防火墙

由于四台主机之间需要进行通信，这里直接关掉了防火墙。

1. systemctl status firewalld
2. systemctl stop firewalld

复制代码

配置桶权限

可以直接登录 MinIO 提供的控制台进行可视化的配置，不过由于我们在信创环境下没有申请开放对应端口，所有通过 mc 命令行客户端进行配置。
   这里记录一个实际中因开放了匿名下载文件权限之后，可以遍历所有对象存储目录的问题的解决方法。
  

• 可下载
  

• 可遍历整个桶
  

• MinIO权限
  

MinIO 的权限其实就是关于文件、桶的 CRUD 的配置，基于AWS的对象存储规则，配置文件为 JSON 格式。

1. # 开放匿名下载权限
2. [root@sx-std-oss-220420-0001 opt]# mc policy set download name-it/local
4. # 查看下默认的下载权限的JSON文件
5. [root@sx-std-oss-220420-0001 minio_policy]# mc policy get-json name-it/local
6. {
7. "Statement": [
8.   {
9.    "Action": [
10.     "s3:ListBucket",
11.     "s3:GetBucketLocation"
12.    ],
13.    "Effect": "Allow",
14.    "Principal": {
15.     "AWS": [
16.      "*"
17.     ]
18.    },
19.    "Resource": [
20.     "arn:aws:s3:::local"
21.    ]
22.   },
23.   {
24.    "Action": [
25.     "s3:GetObject"
26.    ],
27.    "Effect": "Allow",
28.    "Principal": {
29.     "AWS": [
30.      "*"
31.     ]
32.    },
33.    "Resource": [
34.     "arn:aws:s3:::local/*"
35.    ]
36.   }
37. ],
38. "Version": "2012-10-17"
39. }

复制代码

可以看到，默认的 download 可以列出桶里的文件列表： GetBucketLocation ，我们把这个权限去掉。
新建一个 custom-local.json ，写入以下内容（与默认生成的配置相比，仅去掉了 GetBucketLocation ）。

1. {
2. "Statement": [
3.   {
4.    "Action": [
5.     "s3:GetBucketLocation"
6.    ],
7.    "Effect": "Allow",
8.    "Principal": {
9.     "AWS": [
10.      "*"
11.     ]
12.    },
13.    "Resource": [
14.     "arn:aws:s3:::local"
15.    ]
16.   },
17.   {
18.    "Action": [
19.     "s3:GetObject"
20.    ],
21.    "Effect": "Allow",
22.    "Principal": {
23.     "AWS": [
24.      "*"
25.     ]
26.    },
27.    "Resource": [
28.     "arn:aws:s3:::local/*"
29.    ]
30.   }
31. ],
32. "Version": "2012-10-17"
33. }

复制代码

使用我们自定义的权限 JSON 文件。

1. [root@sx-std-oss-220420-0001 minio_policy]# mc policy set-json custom-local.json name-it/local

复制代码

• 可下载，但不可遍历桶下的文件目录
  

mc常用命令

mc 命令行客户端的使用可参考官方文档，这里附上之前华为云上操作 MinIO 时 mc 客户端常用的命令。
mc常用命令清单

1. [root@ecs-c8ee-0011  ~]# cd /opt/minio
2. [root@ecs-c8ee-0011  minio]# wget https://dl.min.io/client/mc/release/linux-amd64/mc
3. [root@ecs-c8ee-0011  minio]# mv ./mc /usr/local/bin/
4. [root@ecs-c8ee-0011  minio]# mc config host ls
5. -bash: /usr/local/bin/mc: 权限不够
6. [root@ecs-c8ee-0011  minio]# cd /usr/local/bin
7. [root@ecs-c8ee-0011  bin]# chmod +x mc
9. # 查看服务列表
10. mc config host ls
11. # 新增服务
12. mc config host add name-it http://localhost:9000 HelloWorld wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLE
13. Added name-it successfully.
14. # 密码要求至少八位。
15. mc config host add name-it http://localhost:9000 HelloWorld
17. # 删除服务
18. mc config host remove name-it
20. # 查看服务信息
21. mc admin info name-it
23. # 查看服务下的桶以及桶下的文件
24. mc ls name-it
25. mc ls name-it/bucketname
27. # 下载文件
28. mc cp name-it/bucketname/filename /tmp
30. # 删除文件
31. mc rm name-it/bucketname/filename
33. # 上传文件
34. mc cp test.txt name-it/bucketname
35. mc ls name-it/bucketname
37. # 创建桶
38. mc mb name-it/new-bucketname
39. mc ls name-it
41. # 删除桶
42. mc rb name-it/new-bucketname
43. mc ls name-it
45. # 强制删除（当桶中有文件，而且想删除）
46. mc rb --force name-it/new-bucketname
47. mc ls name-it
49. # 查看服务下桶的容量
50. mc du name-it
52. mc du name-it/bucketname
54. # 添加用户
55. mc admin user add name-it user1
56. mc admin user add name-it user2 12345678
58. # 列出用户
59. mc admin user list name-it
61. # 禁用用户
62. mc admin user disable name-it user2
63. mc admin user list name-it
65. # 启用用户
66. mc admin user enable name-it user2
67. mc admin user list name-it
69. mc admin user info name-it user2
71. # 删除用户
72. mc admin user remove name-it user2
74. # 策略管理
75. mc admin policy list name-it
77. mc admin policy info name-it readonly
79. mc admin policy info name-it writeonly
81. mc admin policy info name-it readwrite
83. # 写策略配置文件
84. # 应用文件
85. mc admin policy add name-it bucket2-admin-role your-config.json
87. mc admin policy list name-it
89. mc admin user info name-it user2
91. # 关联策略到用户
92. mc admin policy set name-it bucket2-admin-role user=user2
94. mc admin user info name-it user2
96. # 通过Web Console验证user2的权限
98. # 解绑权限
99. mc admin policy unset name-it bucket2-admin-role user=user2
101. mc admin user info name-it user2

复制代码

帮助

关于 mc 客户端的使用，当遇到不会用的命令时，可通过 --help 参数，查看帮助文档。
Reference

https://docs.min.io/minio/baremetal/reference/minio-mc.html

---

If you have any questions or any bugs are found, please feel free to contact me.
Your comments and suggestions are welcome!

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！