ToB企服应用市场:ToB评测及商务社交产业平台
标题:
【高可用对象存储实战】利用Python操作Minio存储桶
[打印本页]
作者:
种地
时间:
2024-6-15 03:06
标题:
【高可用对象存储实战】利用Python操作Minio存储桶
什么是Minio
Minio是一个基于Golang实现的高可用、高弹性的开源对象存储体系（OSS），皆在提供云上的高可扩展与高性能的分布式文件存储体系。
Minio十分的易摆设，主需要极短的命令行即可实现运行与运维双重工作流。
下载Minio
我们前往min.io进行下载，之所以不利用中文镜像源进行下载的一个缘故原由是，笔者在开始配置Minio时遇到了镜像404不可用的现象，固然读者您也可以重新实行前往中文镜像站进行下载，这里以min.io镜像站进行操作。
wget https://dl.min.io/server/minio/release/linux-amd64/minio
复制代码
下载好后，我们就得到了minio的二进制执行文件。
[root@localhost minio_server_side]# ls -al
total 108340
drwxr-xr-x. 4 root root 88 Jan 12 20:20 .
dr-xr-x---. 14 root root 4096 Jan 15 23:59 ..
drwxr-xr-x. 4 root root 39 Jan 15 17:40 data
drwxr-xr-x. 2 root root 24 Jan 12 19:28 logs
-rwxr-xr-x. 1 root root 110919680 Jan 12 15:05 minio
-rwxr-xr-x. 1 root root 48 Jan 12 19:38 runServer.sh
-rw-------. 1 root root 12288 Jan 12 20:20 .runserver.sh.swp
[root@localhost minio_server_side]#
复制代码
为这个二进制文件进行加权：
sudo chmod +x ./minio
复制代码
什么是《桶》？
在Minio中的概念中一共有两个紧张概念，即桶和对象。
对象可以很好明确，无非就是传统意义上的文件对象，一个单独的file object。
可什么又是桶呢？你可以将文件对象抽象为水，那么水由桶撑着就很好明确。而Minio中的桶也是鉴戒了这个概念，实际上这个桶也简直是一个标准的Linux文件夹。
我们通过cd和ls指令来检查桶，这里我们有一个名为：replays的桶。我们分别利用ls -al和cd指令来试试看：
ls -al:
[root@localhost data]# ls -al
total 0
drwxr-xr-x. 4 root root 39 Jan 15 17:40 .
drwxr-xr-x. 4 root root 88 Jan 12 20:20 ..
drwxr-xr-x. 7 root root 98 Jan 15 17:40 .minio.sys
drwxr-xr-x. 3 root root 24 Jan 14 09:24 replays
复制代码
cd：
[root@localhost data]# cd replays/
[root@localhost replays]# ls
output.avi
[root@localhost replays]#
复制代码
至此，Minio中最紧张的两个概念已经解释清晰了。
启动和配置Minio
我们利用nohup来为Minio创建守护历程
nohup minio server ./data > ./logs/server.log &
复制代码
sever：指定minio server的管道操作，如果在不指定具体操作，如：start（启动）、stop（停止）、restart（重启）
./data：指定Minio的主数据路径，所有的桶以及对象将存储在这里
启动后，访问您主机的IP:9000后，你将会在浏览器看到如下的界面：
至此，Minio的配置与启动就完成了。
Python API交互实现文件上传并获取可分享链接
PyPI包安装
Minio官方提供了可用的PyPI包，通过如下指令进行安装
pip install minio
复制代码
终端构造
安装好后，我们将开始创建Minio客户端对象：
# 从minio库中导入Minio客户端类
from minio import Minio
# 实例化
client = Minio(
# endpoint指定的是你Minio的远程IP及端口
endpoint = "192.168.40.11:9000",
# accesskey指定的是你的Minio服务器访问key
# 默认值为minioadmin
access_key= "minioadmin",
# secret_key指定的是你登录时需要用的key，类似密码
# 默认值也是minioadmin
secret_key= "minioadmin",
# secure指定是否以安全模式创建Minio连接
# 建议为False
secure= False
复制代码
桶的检查
当我们创建好客户端后，我们需要开始与存储桶进行连接，通过client.bucket_exists()函数直接进行存储桶的查询，该照旧担当一个参数：bucket_name，为了防止因存储桶不存在而无法上传的情况，我们利用if来进行检查：
if client.bucket_exists("replays"):
复制代码
我们一定要通过桶连接来检查终端与Minio服务器的连接，因为当你创建Minio Client对象时，不会与远程服务器发生sock连接，而只有当检查桶或执行I/O操作时才会发生sock连接。
检查了连接性后，我们可以打开我们的目标文件了：
# 使用with open打开目标文件
with open("output.avi","rb") as file_data:
# 使用os.path.getsize()获取目标文件的大小
bytes_length = os.path.getsize("output.avi")
复制代码
确认文件的可读性和巨细后，我们可以利用client.put_object()函数将目标文件存储到远程存储桶内：
client.put_object("replays", "output.avi", file_data, bytes_length)
复制代码
此中该函数的四个参数分别为：
bucket_name：目标远程存储桶名，指定文件将被存储在哪个桶下。
object_name：指定目标文件将在远程桶下以什么名字被存储。
data：指定文件的I/O缓冲数据，这也是为什么我们用with open先读取文件了
length：Minio需要在上传时指定文件的巨细，它并不会自动计算文件的巨细，因此需要我们在终端获取到文件的巨细并作为参数传递给API。
获取可分享URL
利用client.presigned_get_object()函数获取一个文件对象的可分享URL。
url = client.presigned_get_object("replays", "output.avi")
print(url)
复制代码
执行后的效果是：
PS E:\My Code\attention-concentration-test\production\student\cache> python .\test.py
http://192.168.40.11:9000/replays/output.avi?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=minioadmin%2F20230115%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230115T163642Z&X-Amz-Expires=604800&X-Amz-SignedHeaders=host&X-Amz-Signature=a1bc19c5568dd5e6963362a2a74fc0876cbe68333253f2023df266308b0ea650
复制代码
复制这段URL到IDM下载器来查验可用性：
可以看到，IDM已经成功辨认了该URL，并且这个.avi录像是可读的：
请不要在意我的脸，颜值无用，技能乃大！！
同时我们革新Minio的Web中控台，可以发现文件也简直被存到桶里了
结语
作为被阿里，腾讯，百度，Amazon利用的对象存储OSS框架，MinIO确实做到了小而轻，快而稳。且高弹性的摆设，让云对象存储充满了无穷的可能。高可用，多语言的API让运维人员与开发者可以更轻松的利用和维护公共/私有的存储资源。
自后附上各种语言的API文档，下期博客再见。
.NET API文档
Python API文档
Golang API文档
Java API文档
JS API文档
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4
