FastDFS并发问题的排查经历

附件用的fastdf上传和下载的， 本地开发时就没考虑过多文件上传就会有并发的问题，比如多个只上传成功了一个或者上传了但是文档内容缺失了，变成0字节。
呵。。都是一次难忘的经历。
经过本地模拟大批量的上传下载， 发现fastdf是在启动时就初始化了tracker和stroge, 每次调用过他的接口后都会关闭连接， 这样就导致上传的不完整或者不成功。也是后面找的博客看到的，非常感谢这篇文章。https://blog.csdn.net/AFSGEFEGH/article/details/109034532?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-3-109034532-blog-114929991.235^v27^pc_relevant_multi_platform_whitelistv3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-3-109034532-blog-114929991.235^v27^pc_relevant_multi_platform_whitelistv3&utm_relevant_index=6


记得方法上面加上synchronized
点击查看代码

1.         @RequestMapping(value = "/batchDownloadForThesisCheck2", method = RequestMethod.POST)
2.         public synchronized void batchDownloadForThesisCheck2(@RequestBody List<FileInfoDto> fileInfoList)  {
3.                 if(CollectionUtils.isEmpty(fileInfoList)){
4.                         throw new EducationException("下载附件失败");
5.                 }
6.                 List<FileInfoDto> fileInfoDtos = differentFileName(fileInfoList);
7. //                List<FileInfoDto> fileInfoDtos = new ArrayList<>();
9. //                for(int fi=0;fi<300;fi++){
10. //                        FileInfoDto it = new FileInfoDto();
11. //                        it.setFileName("20210115_小鱼儿"+fi+"_jjlw.doc");
12. //                        fileInfoDtos.add(it);
13. //                }
14.                 String zipName = request.getParameter("zipName");
15.                 if(StringUtils.isEmpty(zipName)) zipName = "批量下载";
16.                 ZipOutputStream zipOS = null ;
17.                 InputStream is = null;
19.                 OutputStream os = null;
20.                 // 计算百分值
21.                 int index =1;
22.                 int totalSize =CollectionUtils.isNotEmpty(fileInfoDtos) ? fileInfoDtos.size():1;
25.                 try {
26.                         response.setContentType("application/octet-stream; charset=UTF-8");
27.                         response.setHeader("Access-Control-Expose-Headers", "fileName");
28.                         response.setHeader("fileName", URLEncoder.encode(zipName, "UTF-8"));
29.                         os = response.getOutputStream();
30.                         zipOS = new ZipOutputStream(os);
31.                         for (FileInfoDto info : fileInfoDtos) {
32.                                 // 机检论文换名字，学号_姓名_jjlw命名
33.                                 String itemFileName= info.getFileName();
34. //                                itemFileName = "S20020804005_陈明鑫_jjlw .docx";
35.                                 int secondShowIndex = Common.findNumber(itemFileName,"_",2);
36.                                 int firstShowIndex = Common.findNumber(itemFileName,"_",1);
37.                                 if("1".equals(info.getPaperToName())){
38.                                         // 文件格式1：学校代码_学号_LW.doc 2:学号_姓名_jjlw
39.                                         itemFileName = "10356_"+itemFileName.substring(0,firstShowIndex)+"_LW"+itemFileName.substring(itemFileName.lastIndexOf("."),itemFileName.length());
40.                                 }else{
41.                                         itemFileName = itemFileName.substring(0,secondShowIndex)+"_jjlw"+itemFileName.substring(itemFileName.lastIndexOf("."),itemFileName.length());
42.                                 }
43.                                 logger.error("已下载学生:{} "  ,itemFileName);
44.                                 zipOS.putNextEntry(new ZipEntry(itemFileName));
45.                                 try{
46.                                         is = fastDFS.downloadFile(info.getFileId());
47. //                                        is = fastDFS.downloadFile("group1/M00/00/C0/wKgjdWQYEJ-AbefsAdOyZXrKanw028.doc");
48.                                         int len = 0;
49.                                         byte[] buffer = new byte[1024*8];
50.                                         while ((len = is.read(buffer)) != -1) {
51.                                                 zipOS.write(buffer, 0, len);
52.                                         }
53. //                                        is.close();
55.                                         // 计算进度,向下取整
56.                                         double nowProcess = Math.floor((index*100)/totalSize);
57.                                         logger.error("已下载”{}",index);
58. //                                        createProcessDownFile(nowProcess,"已下载"+nowProcess+"%",info.getTimeId(),info.getUserId());
59.                                         index ++;
60.                                 }catch(Exception ignored){
62.                                 }
63.                                 zipOS.flush();
64. //                                zipOS.closeEntry();
65.                         }
66.                 } catch (IOException e) {
67. //                        createProcessDownFile(100d,"批量下载发生错误",fileInfoList.get(0).getTimeId(),fileInfoList.get(0).getUserId());
68.                         logger.error("批量下载发生错误: " + e.getMessage(), e);
69.                 } finally {
70.                         try {
71.                                 if (zipOS != null) {
72.                                         zipOS.closeEntry();
73.                                         zipOS.close();
74.                                 }
75.                                 if (os != null) os.close();
76. //                                createProcessDownFile(100d,"已下载100%",fileInfoList.get(0).getTimeId(),fileInfoList.get(0).getUserId());
77.                                 logger.warn("关闭机检下载 :"  );
78.                         } catch (IOException e) {
79. //                                createProcessDownFile(100d,"批量下载发生错误,关闭文件流失败",fileInfoList.get(0).getTimeId(),fileInfoList.get(0).getUserId());
80.                                 logger.warn("关闭文件流失败, cause by :" + e.getMessage());
82.                         }
83. //                        finally {
84. //                                createProcessDownFile(100d,"已下载100%",fileInfoList.get(0).getTimeId(),fileInfoList.get(0).getUserId());
85. //                                logger.warn("关闭机检下载 :"  );
86. //                        }
88.                 }
89.         }

复制代码

fastdf源码中storageServer每次用完都会关闭


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！