大文件秒传，分片上传，断点续传

大文件分片上传

一 功能描述

1.文件通过web端分片多线程上传到服务端，然后web端发起分片合并，完成大文件分片上传功能
2.上传过的大文件，实现秒传
3.上传过程中，服务非常退出，实现断点续传
二 流程图

三 代码运行展示

1.分片上传

2.秒传

3.断点续传

四 代码结构

五 技术栈

1.springboot
2.aws存储
3.mysql
六 代码片段

1. @ApiOperation(value = "大文件上传")
2.     @PostMapping(value = "/big/upload",consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
3.     public RestResp<String> uploadChunk(
4.             HttpServletRequest request,
5.             BigFileChunkFo bigFileChunkFo, MultipartFile file) {
6.         log.debug("分片上传参数:{}",bigFileChunkFo);
7.         String result = fileManager.uploadChunk(request,bigFileChunkFo,file);
8.         return RestResp.success(result);
9.     }
13.     @ApiOperation(value = "检查是否上传")
14.     @PostMapping("/big/checkMd5")
15.     public RestResp<BigFileCheckDto> checkMd5(
16.             HttpServletRequest request,
17.             @RequestBody BigFileCheckFo fileCheckFo) {
18.         BigFileCheckDto bigFileCheckDto = fileManager.checkMd5(request,fileCheckFo);
19.         return RestResp.success(bigFileCheckDto);
20.     }
22.     @ApiOperation(value = "大文件合并")
23.     @PostMapping("/big/merge")
24.     public RestResp<String> merge(
25.             HttpServletRequest request,
26.             @RequestBody BigFileMergeFo bigFileMergeFo) {
27.         log.debug("文件合并:{}",bigFileMergeFo);
28.         String result = fileManager.merge(request,bigFileMergeFo);
29.         return RestResp.success(result);
30.     }

复制代码

1.     @Override
2.     public String copyFile(String bucketName, String sourceFileKey, String targetFileKey) throws Exception {
3.         log.info("bucketName:{},sourceFileKey:{},targetFileKey:{}",bucketName,sourceFileKey,targetFileKey);
4.         CopyObjectRequest copyObjectRequest = new CopyObjectRequest();
5.         copyObjectRequest.setSourceBucketName(bucketName);
6.         copyObjectRequest.setDestinationBucketName(bucketName);
7.         copyObjectRequest.setSourceKey(sourceFileKey);
8.         copyObjectRequest.setDestinationKey(targetFileKey);
9.         getClient().copyObject(copyObjectRequest);
10.         return this.getObjectPrefixUrl(bucketName) +  targetFileKey;
11. }
13.     /**
14.      * 上传分片
15.      *
16.      * @param bigFileChunkFo
17.      * @return
18.      * @throws Exception
19.      */
20.     @Override
21.     public PartETag uploadChunk(BigFileChunkFo bigFileChunkFo, BigFile bigFile, MultipartFile multipartFile) throws Exception {
22.         //桶名
23.         String bucketName = bigFileChunkFo.getBucketName();
24.         //当前分片
25.         int chunkNum = bigFileChunkFo.getChunkNum();
26.         //当前分片大小
27.         long chunkSize = bigFileChunkFo.getChunkSize();
28.         // 上传
29.         ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(IOUtils
30.                 .toByteArray(multipartFile.getInputStream()));
31.         UploadPartRequest uploadRequest = new UploadPartRequest()
32.                 .withBucketName(bucketName)
33.                 .withKey(bigFile.getFileKey())
34.                 .withUploadId(bigFile.getUploadId())
35.                 .withInputStream(byteArrayInputStream)
36.                 .withPartNumber(chunkNum)
37.                 .withPartSize(chunkSize);
38.         UploadPartResult uploadResult = getClient().uploadPart(uploadRequest);
39.         return uploadResult.getPartETag();
40.     }
42.     /**
43.      * 获取上传任务id
44.      *
45.      * @param bigFileCheckFo
46.      * @param fileKey
47.      * @return
48.      */
49.     @Override
50.     public String getUploadId(BigFileCheckFo bigFileCheckFo, String fileKey) {
51.         String bucketName = bigFileCheckFo.getBucketName();
52.         InitiateMultipartUploadRequest initRequest = new InitiateMultipartUploadRequest(bucketName
53.                 , fileKey);
54.         log.info("initRequest:{}", initRequest);
55.         InitiateMultipartUploadResult initResponse = getClient().initiateMultipartUpload(initRequest);
56.         return initResponse.getUploadId();
57.     }
59.     /**
60.      * 大文件合并
61.      *
62.      * @param bigFile
63.      * @param bigFileChunkList
64.      * @return
65.      * @throws Exception
66.      */
67.     @Override
68.     public String merge(BigFile bigFile, List<BigFileChunk> bigFileChunkList) throws Exception {
69.         String bucketName = bigFile.getBucketName();
70.         List<PartETag> partETagList = bigFileChunkList
71.                 .stream()
72.                 .map(bigFileChunk -> new PartETag(bigFileChunk.getChunkNum(), bigFileChunk.getETag()))
73.                 .collect(Collectors.toList());
74.         CompleteMultipartUploadRequest compRequest = new CompleteMultipartUploadRequest(bucketName, bigFile.getFileKey(),
75.                 bigFile.getUploadId(), partETagList);
76.         log.info("compRequest:{}", compRequest);
77.         getClient().completeMultipartUpload(compRequest);
78.         return this.getObjectPrefixUrl(bucketName) + bigFile.getFileKey();
79.     }

复制代码

七 表计划

1. CREATE TABLE `hfle_big_file` (
2.   `id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',
3.   `md5` varchar(128) COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件MD5',
4.   `status` int NOT NULL DEFAULT '1' COMMENT '上传状态,1:上传中;2:上传完成',
5.   `access_key` varchar(64) COLLATE utf8mb4_general_ci NOT NULL COMMENT 'accessKey',
6.   `chunk_count` bigint DEFAULT NULL COMMENT '分片总数',
7.   `file_name` varchar(240) COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件名称',
8.   `file_size` bigint DEFAULT NULL COMMENT '文件大小',
9.   `bucket_name` varchar(64) COLLATE utf8mb4_general_ci NOT NULL COMMENT '上传桶',
10.   `file_type` varchar(128) COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件类型',
11.   `file_key` varchar(128) COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件唯一值',
12.   `url` varchar(256) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上传地址',
13.   `upload_id` varchar(128) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT 's3上传任务id',
14.   `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
15.   `creator` bigint NOT NULL DEFAULT '-1' COMMENT '创建人',
16.   `modifier` bigint NOT NULL DEFAULT '-1' COMMENT '最后更新人',
17.   `modified_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
18.   PRIMARY KEY (`id`) USING BTREE,
19.   UNIQUE KEY `uniq_md5_access_key` (`access_key`, `md5`, `bucket_name`, `file_key`)
20. ) ENGINE = InnoDB AUTO_INCREMENT = 47 DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = '大文件上传记录表';
23. CREATE TABLE `hfle_big_chunck` (
24.   `id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',
25.   `big_file_id` bigint DEFAULT NULL COMMENT '大文件id',
26.   `chunk_num` bigint DEFAULT NULL COMMENT '当前分片',
27.   `e_tag` varchar(64) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT 's3上传专用',
28.   `chunk_size` bigint DEFAULT NULL COMMENT '分片大小',
29.   `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
30.   `creator` bigint NOT NULL DEFAULT '-1' COMMENT '创建人',
31.   `modifier` bigint NOT NULL DEFAULT '-1' COMMENT '最后更新人',
32.   `modified_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
33.   PRIMARY KEY (`id`) USING BTREE,
34.   UNIQUE KEY `uniq_chunk_num` (`big_file_id`, `chunk_num`)
35. ) ENGINE = InnoDB AUTO_INCREMENT = 1542 DEFAULT CHARSET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = '大文件上传分片记录表'

复制代码

八 启动访问地址

http://localhost:9999
九 源代码下载

源码下载

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。