小程序解决大问题-物流系统磁盘爆满问题处理

晚上七点，煤矿调运的物流调度系统突然磁盘报名导致服务瓦解。系统用的是微服务，没有详细操作说明，也不敢动，运煤车辆排起了长队，只能联系厂家处理。好在经过30多分钟的处理，服务终于启动，系统运行正常。经过排查是一台后端服务器存储了车辆图片，导致磁盘满了，数据库停止运行。以前也有雷同的问题，每次都会影响半个小时到一个小时。
作为程序员，分析了该服务器存储的图片都是抓取的原始图片，每张都在3-5M。十几万张图片如果压缩到几百k，磁盘容量问题就应该解决了。跟厂家沟通了下，图片只是最近七天的有用，而且大部分都在一天内已经传到第三方平台，可以压缩。
计划方案：

• 遍历 d://ftp,下面的文件及文件夹，找出 全部jpeg图片；
  
• 使用thumbnailator将图片压缩，并更换源文件；
  
• 计算压缩前后的文件夹大小；
  
• 计算压缩比例；
  
• 记载处理日志；
  
• 写入 windows 使命计划程序；
  
• 使用多线程，考虑生产服务器，严格限制CPU和内存占用。
  

​压缩前：

​压缩后：

压缩后，图片车牌依然可以被识别，不影响使用：

程序：

1. public class App {
2.     private static final Logger logger = LoggerFactory.getLogger(App.class);
3.     private static final int THREAD_POOL_SIZE = Math.max(1, Runtime.getRuntime().availableProcessors() / 2);
4.     private static final AtomicInteger filesProcessed = new AtomicInteger(0);
5.     private static int totalFilesToProcess = 0;
7.     public static void main(String[] args) {
8.         // 创建log文件夹
9.         File logDir = new File("log");
10.         if (!logDir.exists()) {
11.             logDir.mkdir();
12.         }
14.         logger.info("线程池大小：{}", THREAD_POOL_SIZE);
15.         Scanner scanner = new Scanner(System.in);
16.         System.out.println("请输入文件夹路径（例如：d:\\ftp）:");
17.         String folderPath = scanner.nextLine();
18.         File dir = new File(folderPath);
20.         if (!dir.exists() || !dir.isDirectory()) {
21.             logger.error("文件夹路径不存在: {}", folderPath);
22.             return;
23.         }
25.         logger.info("开始处理文件夹: {}", folderPath);
27.         totalFilesToProcess = countFiles(dir);
28.         long originalSize = calculateDirectorySize(dir);
29.         logger.info("原始文件夹大小: {}", formatBytes(originalSize));
30.         logger.info("开始压缩图片");
31.         long startTime = System.currentTimeMillis();
32.         ExecutorService executorService = Executors.newFixedThreadPool(THREAD_POOL_SIZE);
33.         traverseDirectory(dir, executorService);
34.         executorService.shutdown();
35.         try {
36.             executorService.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
37.         } catch (InterruptedException e) {
38.             Thread.currentThread().interrupt();
39.             logger.error("线程池被中断: {}", e.getMessage());
40.         }
42.         long endTime = System.currentTimeMillis();
43.         long compressedSize = calculateDirectorySize(dir);
44.         logger.info("总耗时: {} 秒", (endTime - startTime) / 1000.0);
45.         logger.info("压缩后文件夹总大小: {}", formatBytes(compressedSize));
46.         double compressionRatio = (compressedSize == originalSize) ? 1.0 : (double) compressedSize / originalSize;
47.         logger.info("压缩比例: {}%", String.format("%.2f", compressionRatio * 100));
48.         logger.info("压缩图片完成");
49.     }
51.     public static void traverseDirectory(File dir, ExecutorService executorService) {
52.         File[] files = dir.listFiles();
53.         if (files != null) {
54.             for (File file : files) {
55.                 if (file.isDirectory()) {
56.                     traverseDirectory(file, executorService);
57.                 } else if (isJpegFile(file.getName())) {
58.                     executorService.submit(() -> processImage(file));
59.                 }
60.             }
61.         }
62.     }
64.     private static boolean isJpegFile(String fileName) {
65.         String lowerCaseName = fileName.toLowerCase();
66.         return lowerCaseName.endsWith(".jpeg") || lowerCaseName.endsWith(".jpg");
67.     }
69.     private static void processImage(File file) {
70.         compressImage(file);
71.         int processed = filesProcessed.incrementAndGet();
72.         if (processed % 100 == 0 || processed == totalFilesToProcess) {
73.             logger.info("已处理 {} / {} 文件", processed, totalFilesToProcess);
74.         }
75.     }
77.     public static void compressImage(File file) {
78.         try {
79.             Thumbnails.Builder<File> builder = Thumbnails.of(file);
80.             java.awt.image.BufferedImage originalImage = builder.scale(1).asBufferedImage();
81.             int originalWidth = originalImage.getWidth();
82.             if (originalWidth > 1280) {
83.                 double scale = (double) 1280 / originalWidth;
84.                 builder.scale(scale)
85.                        .outputQuality(0.6)
86.                        .toFile(file);
87.                 logger.info("压缩图片: {}", file.getPath());
88.             }
89.         } catch (IOException e) {
90.             logger.error("处理图片时出错: {} - {}", file.getPath(), e.getMessage());
91.         }
92.     }
94.     /**
95.      * 计算文件夹大小
96.      * @param dir
97.      * @return
98.      */
99.     public static long calculateDirectorySize(File dir) {
100.         long totalSize = 0;
101.         for (File file : dir.listFiles()) {
102.             if (file.isDirectory()) {
103.                 totalSize += calculateDirectorySize(file);
104.             } else {
105.                 totalSize += file.length();
106.             }
107.         }
108.         return totalSize;
109.     }
111.     /**
112.      * 转换文件大小为可读格式
113.      * @param bytes
114.      * @return
115.      */
116.     public static String formatBytes(long bytes) {
117.         String[] units = {"B", "KB", "MB", "GB", "TB"};
118.         int i = 0;
119.         while (bytes >= 1024 && i < units.length - 1) {
120.             bytes /= 1024;
121.             i++;
122.         }
123.         return String.format("%.2f %s", bytes / 1.0, units[i]);
124.     }
126.     /**
127.      * 计算文件夹下图片总数量
128.      * @param dir
129.      * @return
130.      */
131.     public static int countFiles(File dir) {
132.         int count = 0;
133.         for (File file : dir.listFiles()) {
134.             if (file.isDirectory()) {
135.                 count += countFiles(file);
136.             } else if (file.getName().toLowerCase().endsWith(".jpeg") ||
137.                     file.getName().toLowerCase().endsWith(".jpg")) {
138.                 count++;
139.             }
140.         }
141.         return count;
142.     }
143. }

复制代码

稳定运行两个月，磁盘空出200G。再也不用手忙脚乱地联系客服，重启服务了。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。