ToB企服应用市场:ToB评测及商务社交产业平台

标题: 信创环境下分布式文件存储MinIO集群部署 [打印本页]
作者: 泉缘泉    时间: 2022-6-25 09:13
标题: 信创环境下分布式文件存储MinIO集群部署
背景

本次项目涉及20+台服务器的部署，技术包括 Nacos 注册中心集群、 GateWay 网关服务集群、 达梦8 关系型数据库服务集群、 MinIO 分布式文件存储服务集群、 Redis 缓存服务集群、 WebSocket 服务端消息推送集群、 Quartz 定时任务服务集群、 Nginx+KeepAlived 反向代理高可用集群、监控服务集群等。这里主要记录下分布式文件存储服务集群以及缓存服务集群的搭建过程。

云服务资源


系统信息

  1. # 查看系统内核信息
  2. [root@sx-std-oss-220420-0001 opt]# uname -a
  3. Linux sx-std-oss-220420-0001.novalocal 4.19.90-17.ky10.aarch64 #1 SMP Sun Jun 28 14:27:40 CST 2020 aarch64 aarch64 aarch64 GNU/Linux
  5. # 查看系统版本信息
  6. [root@sx-std-oss-220420-0001 opt]# cat /etc/os-release
  7. NAME="Kylin Linux Advanced Server"
  8. VERSION="V10 (Tercel)"
  9. ID="kylin"
  10. VERSION_ID="V10"
  11. PRETTY_NAME="Kylin Linux Advanced Server V10 (Tercel)"
  12. ANSI_COLOR="0;31"
复制代码
Note：以下所有操作分别在4台主机上操作，文件传输： scp minio root@172.27.204.151:/opt/
挂载

在4台主机上创建目录并挂载。
  1. mkdir -p /data/minio
  2. mount /dev/vda1 /data/minio
复制代码
编写启动脚本


  1. cd /opt
  2. vi start-minio.sh
  4. #!/bin/bash
  5. export MINIO_ACCESS_KEY=Hello
  6. export MINIO_SECRET_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLE
  8. /opt/minio server \
  9. http://172.27.204.115/data/minio http://172.27.204.101/data/minio \
  10. http://172.27.204.110/data/minio http://172.27.204.151/data/minio
复制代码

  1. chmod +x start-minio.sh
  3. chmod +x minio
复制代码
编写服务脚本


  1. vi /lib/systemd/system/minio.service
  3. [Unit]
  4. Description=Minio service
  5. Documentation=https://docs.minio.io/
  7. [Service]
  8. WorkingDirectory=/opt/
  9. ExecStart=/opt/start-minio.sh
  10. Restart=on-failure
  11. RestartSec=5
  13. [Install]
  14. WantedBy=multi-user.target
复制代码

  1. systemctl list-unit-files | grep minio
  2. systemctl enable minio
  3. systemctl list-unit-files | grep minio
  5. systemctl status minio
  6. systemctl start minio
复制代码
关闭防火墙

由于四台主机之间需要进行通信，这里直接关掉了防火墙。
  1. systemctl status firewalld
  2. systemctl stop firewalld
复制代码
配置桶权限

可以直接登录 MinIO 提供的控制台进行可视化的配置，不过由于我们在信创环境下没有申请开放对应端口，所有通过 mc 命令行客户端进行配置。
   这里记录一个实际中因开放了匿名下载文件权限之后，可以遍历所有对象存储目录的问题的解决方法。
  




MinIO 的权限其实就是关于文件、桶的 CRUD 的配置，基于AWS的对象存储规则，配置文件为 JSON 格式。
  1. # 开放匿名下载权限
  2. [root@sx-std-oss-220420-0001 opt]# mc policy set download name-it/local
  4. # 查看下默认的下载权限的JSON文件
  5. [root@sx-std-oss-220420-0001 minio_policy]# mc policy get-json name-it/local
  6. {
  7. "Statement": [
  8.   {
  9.    "Action": [
  10.     "s3:ListBucket",
  11.     "s3:GetBucketLocation"
  12.    ],
  13.    "Effect": "Allow",
  14.    "Principal": {
  15.     "AWS": [
  16.      "*"
  17.     ]
  18.    },
  19.    "Resource": [
  20.     "arn:aws:s3:::local"
  21.    ]
  22.   },
  23.   {
  24.    "Action": [
  25.     "s3:GetObject"
  26.    ],
  27.    "Effect": "Allow",
  28.    "Principal": {
  29.     "AWS": [
  30.      "*"
  31.     ]
  32.    },
  33.    "Resource": [
  34.     "arn:aws:s3:::local/*"
  35.    ]
  36.   }
  37. ],
  38. "Version": "2012-10-17"
  39. }
复制代码
可以看到，默认的 download 可以列出桶里的文件列表： GetBucketLocation ，我们把这个权限去掉。
新建一个 custom-local.json ，写入以下内容（与默认生成的配置相比，仅去掉了 GetBucketLocation ）。
  1. {
  2. "Statement": [
  3.   {
  4.    "Action": [
  5.     "s3:GetBucketLocation"
  6.    ],
  7.    "Effect": "Allow",
  8.    "Principal": {
  9.     "AWS": [
  10.      "*"
  11.     ]
  12.    },
  13.    "Resource": [
  14.     "arn:aws:s3:::local"
  15.    ]
  16.   },
  17.   {
  18.    "Action": [
  19.     "s3:GetObject"
  20.    ],
  21.    "Effect": "Allow",
  22.    "Principal": {
  23.     "AWS": [
  24.      "*"
  25.     ]
  26.    },
  27.    "Resource": [
  28.     "arn:aws:s3:::local/*"
  29.    ]
  30.   }
  31. ],
  32. "Version": "2012-10-17"
  33. }
复制代码
使用我们自定义的权限 JSON 文件。
  1. [root@sx-std-oss-220420-0001 minio_policy]# mc policy set-json custom-local.json name-it/local
复制代码


mc常用命令

mc 命令行客户端的使用可参考官方文档，这里附上之前华为云上操作 MinIO 时 mc 客户端常用的命令。
mc常用命令清单

  1. [root@ecs-c8ee-0011  ~]# cd /opt/minio
  2. [root@ecs-c8ee-0011  minio]# wget https://dl.min.io/client/mc/release/linux-amd64/mc
  3. [root@ecs-c8ee-0011  minio]# mv ./mc /usr/local/bin/
  4. [root@ecs-c8ee-0011  minio]# mc config host ls
  5. -bash: /usr/local/bin/mc: 权限不够
  6. [root@ecs-c8ee-0011  minio]# cd /usr/local/bin
  7. [root@ecs-c8ee-0011  bin]# chmod +x mc
  9. # 查看服务列表
  10. mc config host ls
  11. # 新增服务
  12. mc config host add name-it http://localhost:9000 HelloWorld wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLE
  13. Added name-it successfully.
  14. # 密码要求至少八位。
  15. mc config host add name-it http://localhost:9000 HelloWorld
  17. # 删除服务
  18. mc config host remove name-it
  20. # 查看服务信息
  21. mc admin info name-it
  23. # 查看服务下的桶以及桶下的文件
  24. mc ls name-it
  25. mc ls name-it/bucketname
  27. # 下载文件
  28. mc cp name-it/bucketname/filename /tmp
  30. # 删除文件
  31. mc rm name-it/bucketname/filename
  33. # 上传文件
  34. mc cp test.txt name-it/bucketname
  35. mc ls name-it/bucketname
  37. # 创建桶
  38. mc mb name-it/new-bucketname
  39. mc ls name-it
  41. # 删除桶
  42. mc rb name-it/new-bucketname
  43. mc ls name-it
  45. # 强制删除（当桶中有文件，而且想删除）
  46. mc rb --force name-it/new-bucketname
  47. mc ls name-it
  49. # 查看服务下桶的容量
  50. mc du name-it
  52. mc du name-it/bucketname
  54. # 添加用户
  55. mc admin user add name-it user1
  56. mc admin user add name-it user2 12345678
  58. # 列出用户
  59. mc admin user list name-it
  61. # 禁用用户
  62. mc admin user disable name-it user2
  63. mc admin user list name-it
  65. # 启用用户
  66. mc admin user enable name-it user2
  67. mc admin user list name-it
  69. mc admin user info name-it user2
  71. # 删除用户
  72. mc admin user remove name-it user2
  74. # 策略管理
  75. mc admin policy list name-it
  77. mc admin policy info name-it readonly
  79. mc admin policy info name-it writeonly
  81. mc admin policy info name-it readwrite
  83. # 写策略配置文件
  84. # 应用文件
  85. mc admin policy add name-it bucket2-admin-role your-config.json
  87. mc admin policy list name-it
  89. mc admin user info name-it user2
  91. # 关联策略到用户
  92. mc admin policy set name-it bucket2-admin-role user=user2
  94. mc admin user info name-it user2
  96. # 通过Web Console验证user2的权限
  98. # 解绑权限
  99. mc admin policy unset name-it bucket2-admin-role user=user2
  101. mc admin user info name-it user2
复制代码
帮助

关于 mc 客户端的使用，当遇到不会用的命令时，可通过 --help 参数，查看帮助文档。
Reference

https://docs.min.io/minio/baremetal/reference/minio-mc.html
If you have any questions or any bugs are found, please feel free to contact me.
Your comments and suggestions are welcome!

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4