ToB企服应用市场:ToB评测及商务社交产业平台

标题: 13 秒插入 30 万条数据，我惊呆了！ [打印本页]
作者: 道家人    时间: 2023-8-31 16:08
标题: 13 秒插入 30 万条数据，我惊呆了！
本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。
30万条数据插入插入数据库验证

验证的数据库表结构如下：
  1. CREATE TABLE `t_user` (
  2.   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
  3.   `username` varchar(64) DEFAULT NULL COMMENT '用户名称',
  4.   `age` int(4) DEFAULT NULL COMMENT '年龄',
  5.   PRIMARY KEY (`id`)
  6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户信息表';
复制代码
话不多说，开整！
推荐一个开源免费的 Spring Boot 实战项目：
https://github.com/javastacks/spring-boot-best-practice
实体类、mapper和配置文件定义

User实体
  1. /**
  2. * <p>用户实体</p>
  3. *
  4. * @Author zjq
  5. */
  6. @Data
  7. public class User {
  9.     private int id;
  10.     private String username;
  11.     private int age;
  13. }
复制代码
mapper接口
  1. public interface UserMapper {
  3.     /**
  4.      * 批量插入用户
  5.      * @param userList
  6.      */
  7.     void batchInsertUser(@Param("list") List<User> userList);
  9. }
复制代码
mapper.xml文件
  1. <insert id="batchInsertUser" parameterType="java.util.List">
  2.     insert into t_user(username,age) values
  3.     <foreach collection="list" item="item" index="index" separator=",">
  4.         (
  5.         #{item.username},
  6.         #{item.age}
  7.         )
  8.     </foreach>
  9. </insert>
复制代码
jdbc.properties
  1. jdbc.driver=com.mysql.jdbc.Driver
  2. jdbc.url=jdbc:mysql://localhost:3306/test
  3. jdbc.username=root
  4. jdbc.password=root
复制代码
sqlMapConfig.xml
  1. <?xml version="1.0" encoding="UTF-8" ?>
  2. <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
  3. <configuration>
  5.    
  6.     <properties resource="jdbc.properties"></properties>
  8.    
  9.     <typeAliases>
  10.         <typeAlias type="com.zjq.domain.User" alias="user"></typeAlias>
  11.     </typeAliases>
  13.    
  14.     <environments default="developement">
  15.         <environment id="developement">
  16.             <transactionManager type="JDBC"></transactionManager>
  17.             <dataSource type="POOLED">
  18.                 <property name="driver" value="${jdbc.driver}"/>
  19.                 <property name="url" value="${jdbc.url}"/>
  20.                 <property name="username" value="${jdbc.username}"/>
  21.                 <property name="password" value="${jdbc.password}"/>
  22.             </dataSource>
  23.         </environment>
  24.     </environments>
  26.    
  27.     <mappers>
  28.         <mapper resource="com/zjq/mapper/UserMapper.xml"></mapper>
  29.     </mappers>
  31. </configuration>
复制代码
不分批次直接梭哈

MyBatis直接一次性批量插入30万条，代码如下：
[code]@Testpublic void testBatchInsertUser() throws IOException {    InputStream resourceAsStream =            Resources.getResourceAsStream("sqlMapConfig.xml");    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);    SqlSession session = sqlSessionFactory.openSession();    System.out.println("===== 开始插入数据 =====");    long startTime = System.currentTimeMillis();    try {        List userList = new ArrayList();        for (int i = 1; i yun 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.</p></blockquote>

超出最大数据包限制了，可以通过调整max_allowed_packet限制来提高可以传输的内容，不过由于30万条数据超出太多，这个不可取，梭哈看来是不行了
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4