ToB企服应用市场:ToB评测及商务社交产业平台

标题: SpringBoot开发符合S3协议的文件存储服务 [打印本页]

---

作者: 涛声依旧在    时间: 2023-7-23 15:02
标题: SpringBoot开发符合S3协议的文件存储服务
背景

公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证》）
项目地址：https://gitee.com/code2roc/local-s3
运行jar包，默认信息如下
api地址：http://localhost:8001/s3
用户名：admin
密码：abcd@1234
概述

s3协议无标准说明文档，为rest风格，创建/删除/详情方法通过PUT/DELETE/HEAD表述
很多方法共用一个路由，通过head参数区分（例如putObject和copyObject）
参考aws的最新api文档：https://docs.aws.amazon.com/AmazonS3/latest/API/API_CopyObject.html
实现以下基础功能

• Bucket创建
  1. @PutMapping("/{bucketName}")
  2. public ResponseEntity<String> createBucket(@PathVariable String bucketName)

  复制代码
• Bucket删除
  1. @DeleteMapping("/{bucketName}")
  2. public ResponseEntity<String> deleteBucket(@PathVariable String bucketName)

  复制代码
• 文件上传
  1. @PutMapping("/{bucketName}/**")
  2. public ResponseEntity<String> putObject(@PathVariable String bucketName, HttpServletRequest request)

  复制代码
• 文件删除
  1. @DeleteMapping("/{bucketName}/**")
  2. public ResponseEntity<String> deleteObject(@PathVariable String bucketName, HttpServletRequest request)

  复制代码
• 文件下载
  1. @GetMapping("/{bucketName}/**")
  2. public void getObject(@PathVariable String bucketName, HttpServletRequest request, HttpServletResponse response)

  复制代码
• 文件分片操作（初始化/分片上传/合并）
  1. @RequestMapping(value = "/{bucketName}/**", method = RequestMethod.POST, params = "uploads")
  2. public ResponseEntity<Object> createMultipartUpload(@PathVariable String bucketName, HttpServletRequest request)
  4. @RequestMapping(value = "/{bucketName}/**", method = RequestMethod.PUT, params = {"partNumber", "uploadId"})
  5. public ResponseEntity<String> uploadPart(@PathVariable String bucketName, HttpServletRequest request, HttpServletResponse response)
  7. @RequestMapping(value = "/{bucketName}/**", method = RequestMethod.POST, params = "uploadId")
  8. public ResponseEntity<String> completeMultipartUpload(@PathVariable String bucketName, HttpServletRequest request)

  复制代码

实现以下扩展功能（兼容s3 browser使用）

• Bucket详情
  1. @RequestMapping(value = "/{bucketName}", method = RequestMethod.HEAD)
  2. public ResponseEntity<Object> headBucket(@PathVariable(value = "bucketName") String bucketName)

  复制代码
• Buckent列表
  1. @GetMapping("/")
  2. public ResponseEntity<String> listBuckets()

  复制代码
• 文件详情
  1. @RequestMapping(value = "/{bucketName}/**", method = RequestMethod.HEAD)
  2. public ResponseEntity<Object> headObject(@PathVariable String bucketName, HttpServletRequest request, HttpServletResponse response)

  复制代码
• 文件列表
  1. @GetMapping("/{bucketName}")
  2. public ResponseEntity<String> listObjects(@PathVariable String bucketName, HttpServletRequest request)

  复制代码

项目接入

maven引用

1.         <dependency>
2.             <groupId>software.amazon.awssdk</groupId>
3.             <artifactId>s3</artifactId>
4.             <version>2.20.45</version>
5.         </dependency>

复制代码

客户端连接

1.     private S3Client getClient() {
2.         S3Client s3 = S3Client.builder()
3.                 .credentialsProvider(StaticCredentialsProvider.create(AwsBasicCredentials.create(systemConfig.getUsername(), systemConfig.getPassword())))
4.                 .endpointOverride(URI.create(CommonUtil.getApiPath() + "s3/"))
5.                 .serviceConfiguration(S3Configuration.builder().pathStyleAccessEnabled(true).chunkedEncodingEnabled(false).build())
6.                 .region(Region.US_EAST_1)
7.                 .build();
8.         return s3;
9.     }

复制代码

文件操作

1.     public void upload(String bucketName, String key, InputStream inputStream) throws Exception {
2.         S3Client s3Client = getClient();
3.         PutObjectRequest request = PutObjectRequest.builder().bucket(bucketName).key(key).build();
4.         RequestBody requestBody = RequestBody.fromBytes(FileUtil.convertStreamToByte(inputStream));
5.         s3Client.putObject(request, requestBody);
6.         s3Client.close();
7.     }

复制代码

工具使用

下载工具
链接：https://pan.baidu.com/s/1HnB3KUOQx4_QELkDTXyG2Q?pwd=nnio 提取码：nnio
配置连接
Account type：选择S3 Compatible Storage
EndPoint填写部署服务后的地址：http://ip:port/s3
Access Key ID：填写配置文件中的username
Secret Access Key：填写配置文件中的password
去除SSL选项

配置签名
在编辑连接页面点击左下角Advanced S3 Compatible Storage Setting
选择签名版本为V4

支持功能
支持创建桶/删除桶/上传文件/删除文件/下载文件/创建文件夹功能


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4