Easyexcel（2-文件读取）

缠丝猫  金牌会员 | 2025-3-6 12:16:15 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 978|帖子 978|积分 2934

同步读取

读取单个Sheet


  • 通过sheet方法指定对应的Sheet名称或下标读取文件信息
  • 通过doReadSync方法实现同步读取
  1. @Data
  2. public class UserExcel {
  4.     @ExcelIgnore
  5.     private Integer id;
  7.     @ExcelProperty(index = 0, value = "姓名")
  8.     private String name;
  10.     @ExcelProperty(index = 1, value = "年龄")
  11.     private Integer age;
  13.     @DateTimeFormat(value = "yyyy-MM-dd")
  14.     @ExcelProperty(index = 2, value = "出生日期")
  15.     private Date birthday;
  16. }
复制代码
  1. @RestController
  2. public class Test02Controller {
  4.     /**
  5.      * 上传单个文件, 同步读取excel文件
  6.      */
  7.     @PostMapping("/uploadFile")
  8.     public void uploadFile(MultipartFile file) {
  9.         try (InputStream in = file.getInputStream()) {
  10.             List<UserExcel> userExcelList = EasyExcel.read(in)
  11.                     // 读取第一个sheet
  12.                     .sheet(0)
  13.                     // 如果第一行才是标题，第二行是数据，从第二行开始读取
  14.                     .headRowNumber(1)
  15.                     .head(UserExcel.class)
  16.                     .doReadSync();
  17.             for (UserExcel userExcel : userExcelList) {
  18.                 System.out.println(userExcel);
  19.             }
  20.         } catch (Exception e) {
  21.             e.printStackTrace();
  22.         }
  23.     }
  24. }
复制代码
读取多个Sheet（同一个对象）

使用doReadAllSync方法读取所有Sheet，实用于每个Sheet的对象都同等的情况
  1. @PostMapping("/uploadFile2")
  2. public void uploadFile2(MultipartFile file) {
  3.     try (InputStream in = file.getInputStream()) {
  4.         List<UserExcel> userExcelList = EasyExcel.read(in)
  5.                 // 如果第一行才是标题，第二行是数据，从第二行开始读取
  6.                 .headRowNumber(1)
  7.                 .head(UserExcel.class)
  8.                 .doReadAllSync();
  9.         for (UserExcel userExcel : userExcelList) {
  10.             System.out.println(userExcel);
  11.         }
  12.     } catch (Exception e) {
  13.         e.printStackTrace();
  14.     }
  15. }
复制代码
读取多个Sheet（不同对象）

当每个Sheet的对象不同等的情况下，使用doReadAllSync方法无法指定每个Sheet的对象，可以依次读取Sheet进行解析
注意：依次读取Sheet会出现重复读取流对象的情况，而一个流对象只能读取一次，重复使用会导致非常
  1. @PostMapping("/uploadFile4")
  2. public void uploadFile4(MultipartFile file) {
  3.     InputStream in = null;
  4.     try {
  5.         in = file.getInputStream();
  6.         List<UserExcel> userExcelList1 = EasyExcel.read(in)
  7.                 // 读取第一个sheet
  8.                 .sheet(0)
  9.                 // 如果第一行才是标题，第二行是数据，从第二行开始读取
  10.                 .headRowNumber(1)
  11.                 .head(UserExcel.class)
  12.                 .doReadSync();
  14.         // 读取剩余的sheet
  15.         in = file.getInputStream();
  16.         List<UserExcel> userExcelList2 = EasyExcel.read(in)
  17.                 .sheet(1)
  18.                 // 如果第一行才是标题，第二行是数据，从第二行开始读取
  19.                 .headRowNumber(1)
  20.                 .head(UserExcel.class)
  21.                 .doReadSync();
  23.         List<UserExcel> userExcelList = new ArrayList<>();
  24.         userExcelList.addAll(userExcelList1);
  25.         userExcelList.addAll(userExcelList2);
  26.         for (UserExcel userExcel : userExcelList) {
  27.             System.out.println(userExcel);
  28.         }
  29.     } catch (Exception e) {
  30.         e.printStackTrace();
  31.     } finally {
  32.         try {
  33.             if (in != null) {
  34.                 in.close();
  35.             }
  36.         } catch (Exception e) {
  37.             e.printStackTrace();
  38.         }
  39.     }
  40. }
复制代码
异步读取

监听器

查看监听器源码，通过实现ReadListener接口或继续AnalysisEventListener类可以自定义读取Sheet监听器
  1. public interface ReadListener<T> extends Listener {
  2.    
  3.     // 在转换异常 获取其他异常下会调用本接口。抛出异常则停止读取。如果这里不抛出异常则继续读取下一行
  4.     default void onException(Exception exception, AnalysisContext context) throws Exception {
  5.         throw exception;
  6.     }
  8.     // 获取表头数据
  9.     default void invokeHead(Map<Integer, ReadCellData<?>> headMap, AnalysisContext context) {}
  11.     // 一行行读取表格内容
  12.     void invoke(T data, AnalysisContext context);
  14.     // 读取条额外信息:批注、超链接、合并单元格信息等
  15.     default void extra(CellExtra extra, AnalysisContext context) {}
  17.            // 读取完成后的操作
  18.     void doAfterAllAnalysed(AnalysisContext context);
  20.     // 是否还有数据
  21.     default boolean hasNext(AnalysisContext context) {
  22.         return true;
  23.     }
  24. }
复制代码
非常处理

ExcelDateConvertException

表示数据转换非常错误，出现该非常时会继续解析文件信息
  1. public abstract class AnalysisEventListener<T> implements ReadListener<T> {
  3.     // 解析表头数据
  4.     @Override
  5.     public void invokeHead(Map<Integer, ReadCellData<?>> headMap, AnalysisContext context) {
  6.         invokeHeadMap(ConverterUtils.convertToStringMap(headMap, context), context);
  7.     }
  9.     public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {}
  10. }
复制代码
ExcelAnalysisStopException

非数据转换非常错误，在onexcetpion中抛出该非常后停止解析
  1. @Getter
  2. @Setter
  3. @EqualsAndHashCode
  4. public class ExcelDataConvertException extends ExcelRuntimeException {
  6.     private Integer rowIndex;
  8.     private Integer columnIndex;
  10.     private CellData<?> cellData;
  12.     private ExcelContentProperty excelContentProperty;
  14.     public ExcelDataConvertException(Integer rowIndex, Integer columnIndex, CellData<?> cellData,
  15.         ExcelContentProperty excelContentProperty, String message) {
  16.         super(message);
  17.         this.rowIndex = rowIndex;
  18.         this.columnIndex = columnIndex;
  19.         this.cellData = cellData;
  20.         this.excelContentProperty = excelContentProperty;
  21.     }
  23.     public ExcelDataConvertException(Integer rowIndex, Integer columnIndex, CellData<?> cellData,
  24.         ExcelContentProperty excelContentProperty, String message, Throwable cause) {
  25.         super(message, cause);
  26.         this.rowIndex = rowIndex;
  27.         this.columnIndex = columnIndex;
  28.         this.cellData = cellData;
  29.         this.excelContentProperty = excelContentProperty;
  30.     }
  31. }
复制代码
读取单个Sheet（不指定对象）

读取文件时使用doRead方法进行异步操作，同时指定对应的监听器解析文件数据
Map中的key表示列号、value表示数据
  1. public class ExcelAnalysisStopException extends ExcelAnalysisException {
  3.     public ExcelAnalysisStopException() {}
  5.     public ExcelAnalysisStopException(String message) {
  6.         super(message);
  7.     }
  9.     public ExcelAnalysisStopException(String message, Throwable cause) {
  10.         super(message, cause);
  11.     }
  13.     public ExcelAnalysisStopException(Throwable cause) {
  14.         super(cause);
  15.     }
  16. }
复制代码
  1. public class UserExcelListener1 extends AnalysisEventListener<Map<Integer, String>> {
  2.     Logger log = LoggerFactory.getLogger(getClass());
  4.     private List<Map<Integer, String>> userExcelList = new ArrayList<>();
  6.     @Override
  7.     public void invoke(Map<Integer, String> map, AnalysisContext analysisContext) {
  8.         log.info("解析到一条数据:{}", JSON.toJSONString(map));
  9.         userExcelList.add(map);
  10.     }
  12.     @Override
  13.     public void doAfterAllAnalysed(AnalysisContext analysisContext) {
  14.         log.info("已解析完所有数据!");
  15.         userExcelList.clear();
  16.     }
  18.     @Override
  19.     public void onException(Exception exception, AnalysisContext context) throws Exception {
  20.         if (exception instanceof ExcelDataConvertException) {
  21.             ExcelDataConvertException convertException = (ExcelDataConvertException) exception;
  22.             Integer row = convertException.getRowIndex();
  23.             log.error("第{}行数据转换失败，异常信息：{}", row, exception.getMessage());
  24.         } else {
  25.             log.error("导入其他异常信息：{}", exception.getMessage());
  26.         }
  27.     }
  29.     public List<Map<Integer, String>> getUserExcelList() {
  30.         return userExcelList;
  31.     }
  33.     public void setUserExcelList(List<Map<Integer, String>> userExcelList) {
  34.         this.userExcelList = userExcelList;
  35.     }
  36. }
复制代码
读取单个Sheet（指定对象）
  1. @PostMapping("/uploadFile1")
  2. public void uploadFile1(MultipartFile file) {
  3.     try (InputStream in = file.getInputStream()) {
  4.         UserExcelListener1 listener = new UserExcelListener1();
  5.         EasyExcel.read(in, listener)
  6.                 .sheet(0)
  7.                 .headRowNumber(1) // 第一行是标题, 从第二行开始读取
  8.                 .doRead();
  9.     } catch (Exception e) {
  10.         e.printStackTrace();
  11.     }
  12. }
复制代码
  1. public class UserExcelListener extends AnalysisEventListener<UserExcel> {
  2.     Logger log = LoggerFactory.getLogger(getClass());
  4.     private List<UserExcel> userExcelList = new ArrayList<>();
  6.     @Override
  7.     public void invoke(UserExcel userExcel, AnalysisContext analysisContext) {
  8.         log.info("解析到一条数据:{}", JSON.toJSONString(userExcel));
  9.         userExcelList.add(userExcel);
  10.     }
  12.     @Override
  13.     public void doAfterAllAnalysed(AnalysisContext analysisContext) {
  14.         log.info("已解析完所有数据!");
  15.         userExcelList.clear();
  16.     }
  18.     @Override
  19.     public void onException(Exception exception, AnalysisContext context) throws Exception {
  20.         if (exception instanceof ExcelDataConvertException) {
  21.             ExcelDataConvertException convertException = (ExcelDataConvertException) exception;
  22.             Integer row = convertException.getRowIndex();
  23.             log.error("第{}行数据转换失败，异常信息：{}", row, exception.getMessage());
  24.         } else {
  25.             log.error("导入其他异常信息：{}", exception.getMessage());
  26.         }
  27.     }
  29.     public List<UserExcel> getUserExcelList() {
  30.         return userExcelList;
  31.     }
  33.     public void setUserExcelList(List<UserExcel> userExcelList) {
  34.         this.userExcelList = userExcelList;
  35.     }
  36. }
复制代码
读取多个Sheet


  • 获取Sheet的总数，通过循环遍历的方式指定每个Sheet的监听器进行解析
  • 使用构造器的方式传入Sheet对应的下标，在抛出非常时获取SheetNo和对应的行号，方便进行排查
  1. @PostMapping("/uploadFile5")
  2. public void uploadFile5(MultipartFile file) {
  3.     try (InputStream in = file.getInputStream()) {
  4.         UserExcelListener listener = new UserExcelListener();
  5.         EasyExcel.read(in, UserExcel.class, listener)
  6.                 .sheet(0)
  7.                 .headRowNumber(1) // 第一行是标题, 从第二行开始读取
  8.                 .doRead();
  9.     } catch (Exception e) {
  10.         e.printStackTrace();
  11.     }
  12. }
复制代码
  1. public class UserExcelListener2 extends AnalysisEventListener<UserExcel> {
  2.    
  3.     Logger log = LoggerFactory.getLogger(getClass());
  5.     private Integer sheetNo;
  6.    
  7.     private List<UserExcel> userExcelList = new ArrayList<>();
  9.     public UserExcelListener2(Integer sheetNo) {
  10.         this.sheetNo = sheetNo;
  11.     }
  13.     @Override
  14.     public void invoke(UserExcel userExcel, AnalysisContext analysisContext) {
  15.         log.info("解析到一条数据:{}", JSON.toJSONString(userExcel));
  16.         userExcelList.add(userExcel);
  17.     }
  19.     @Override
  20.     public void doAfterAllAnalysed(AnalysisContext analysisContext) {
  21.         log.info("已解析完所有数据!");
  22.         userExcelList.clear();
  23.     }
  25.     @Override
  26.     public void onException(Exception exception, AnalysisContext context) throws Exception {
  27.         if (exception instanceof ExcelDataConvertException) {
  28.             ExcelDataConvertException convertException = (ExcelDataConvertException) exception;
  29.             Integer row = convertException.getRowIndex();
  30.             log.error("sheetNo：{}，第{}行数据转换失败，异常信息：{}", sheetNo, row, exception.getMessage());
  31.         } else {
  32.             log.error("导入其他异常信息：{}", exception.getMessage());
  33.         }
  34.     }
  36.     public List<UserExcel> getUserExcelList() {
  37.         return userExcelList;
  38.     }
  40.     public void setUserExcelList(List<UserExcel> userExcelList) {
  41.         this.userExcelList = userExcelList;
  42.     }
  43. }
复制代码
分批读取（线程池操作）


  • 使用构造器的方式传入Sheet对应的下标和自定义线程池，使用这种分批处理的方式，避免内存的消耗，加速文件的解析入库
  • 数据库入库时可以使用MySQL的批量插入语法，同时指定每次插入数据的大小，相较于MyBatisPlus的批量插入方法较快
  1. @PostMapping("/uploadFile6")
  2. public void uploadFile6(MultipartFile file) {
  3.     try (InputStream in = file.getInputStream();
  4.          ExcelReader build = EasyExcel.read(in).build();) {
  5.         List<ReadSheet> readSheets = build.excelExecutor().sheetList();
  6.         for (int i = 0, len = readSheets.size(); i < len; i++) {
  7.             UserExcelListener2 listener = new UserExcelListener2(i);
  8.             ReadSheet sheet = EasyExcel.readSheet(readSheets.get(i).getSheetNo())
  9.                     .head(UserExcel.class)
  10.                     .headRowNumber(1)
  11.                     .registerReadListener(listener)
  12.                     .build();
  13.             build.read(sheet);
  14.         }
  15.         build.finish();
  16.     } catch (Exception e) {
  17.         e.printStackTrace();
  18.     }
  19. }
复制代码
  1. /**
  2. * UserListener 不能被spring管理，要每次读取excel都要new，
  3. * 然后里面用到spring可以构造方法传进去
  4. */
  5. public class UserExcelListener3 extends AnalysisEventListener<UserExcel> {
  7.     Logger log = LoggerFactory.getLogger(getClass());
  9.     private static final Integer BATCH_SIZE = 1000;
  11.     private Integer sheetNo;
  13.     private Executor executor;
  15.     private List<UserExcel> userExcelList = new ArrayList<>();
  17.     public UserExcelListener3(Integer sheetNo, Executor executor) {
  18.         this.sheetNo = sheetNo;
  19.         this.executor = executor;
  20.     }
  22.     @Override
  23.     public void invoke(UserExcel userExcel, AnalysisContext analysisContext) {
  24.         log.info("解析到一条数据:{}", JSON.toJSONString(userExcel));
  25.         userExcelList.add(userExcel);
  26.         if (userExcelList.size() >= BATCH_SIZE) {
  27.             List<UserExcel> userExcels = BeanUtil.copyToList(userExcelList, UserExcel.class);
  28.             CompletableFuture.runAsync(() -> {
  29.                 // 业务操作
  30.                 // saveToDB(userExcels);
  31.             }, executor);
  32.             userExcelList.clear();
  33.         }
  34.     }
  36.     @Override
  37.     public void doAfterAllAnalysed(AnalysisContext analysisContext) {
  38.         log.info("已解析完所有数据!");
  39.         if (!userExcelList.isEmpty()) {
  40.             List<UserExcel> userExcels = BeanUtil.copyToList(userExcelList, UserExcel.class);
  41.             CompletableFuture.runAsync(() -> {
  42.                 // 业务操作
  43.                 // saveToDB(userExcels);
  44.             }, executor);
  45.             userExcelList.clear();
  46.         }
  47.     }
  49.     @Override
  50.     public void onException(Exception exception, AnalysisContext context) throws Exception {
  51.         if (exception instanceof ExcelDataConvertException) {
  52.             ExcelDataConvertException convertException = (ExcelDataConvertException) exception;
  53.             Integer row = convertException.getRowIndex();
  54.             log.error("sheetNo：{}，第{}行数据转换失败，异常信息：{}", sheetNo, row, exception.getMessage());
  55.         } else {
  56.             log.error("导入其他异常信息：{}", exception.getMessage());
  57.         }
  58.     }
  59. }
复制代码
事务操作

当使用监听器读取文件数据，使用分批插入数据的方法时，因为监听器不归Spring管理，以是无法使用Spring的事务注解进行事务的相关操作，怎么保证事务？
可以通过构造器的方式传入事务管理器，手动提交和回滚事务
  1. @PostMapping("/uploadFile7")
  2. public void uploadFile77(MultipartFile file) {
  3.     try (InputStream in = file.getInputStream();
  4.          ExcelReader build = EasyExcel.read(in).build();) {
  6.         ThreadPoolExecutor executor = new ThreadPoolExecutor(10, 20, 60L,
  7.                 TimeUnit.MILLISECONDS, new ArrayBlockingQueue<>(1000), new ThreadPoolExecutor.AbortPolicy());
  8.         List<ReadSheet> readSheets = build.excelExecutor().sheetList();
  9.         for (int i = 0, len = readSheets.size(); i < len; i++) {
  10.             UserExcelListener3 listener = new UserExcelListener3(i, executor);
  11.             ReadSheet sheet = EasyExcel.readSheet(readSheets.get(i).getSheetNo())
  12.                     .head(UserExcel.class)
  13.                     .headRowNumber(1)
  14.                     .registerReadListener(listener)
  15.                     .build();
  16.             build.read(sheet);
  17.         }
  18.         build.finish();
  19.     } catch (Exception e) {
  20.         e.printStackTrace();
  21.     }
  22. }
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

缠丝猫

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表