13 秒插入 30 万条数据，我惊呆了！

本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。
30万条数据插入插入数据库验证

• 实体类、mapper和配置文件定义
  
• 
  
  
  
  • User实体
    
  • mapper接口
    
  • mapper.xml文件
    
  • jdbc.properties
    
  • sqlMapConfig.xml
    
  
  
• 不分批次直接梭哈
  
• 循环逐条插入
  
• MyBatis实现插入30万条数据
  
• JDBC实现插入30万条数据
  
• 总结
  

验证的数据库表结构如下：

1. CREATE TABLE `t_user` (
2.   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
3.   `username` varchar(64) DEFAULT NULL COMMENT '用户名称',
4.   `age` int(4) DEFAULT NULL COMMENT '年龄',
5.   PRIMARY KEY (`id`)
6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户信息表';

复制代码

话不多说，开整！
推荐一个开源免费的 Spring Boot 实战项目：

https://github.com/javastacks/spring-boot-best-practice

实体类、mapper和配置文件定义

User实体

1. /**
2. * <p>用户实体</p>
3. *
4. * @Author zjq
5. */
6. @Data
7. public class User {
9.     private int id;
10.     private String username;
11.     private int age;
13. }

复制代码

mapper接口

1. public interface UserMapper {
3.     /**
4.      * 批量插入用户
5.      * @param userList
6.      */
7.     void batchInsertUser(@Param("list") List<User> userList);
9. }

复制代码

mapper.xml文件

1. <insert id="batchInsertUser" parameterType="java.util.List">
2.     insert into t_user(username,age) values
3.     <foreach collection="list" item="item" index="index" separator=",">
4.         (
5.         #{item.username},
6.         #{item.age}
7.         )
8.     </foreach>
9. </insert>

复制代码

jdbc.properties

1. jdbc.driver=com.mysql.jdbc.Driver
2. jdbc.url=jdbc:mysql://localhost:3306/test
3. jdbc.username=root
4. jdbc.password=root

复制代码

sqlMapConfig.xml

1. <?xml version="1.0" encoding="UTF-8" ?>
2. <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
3. <configuration>
5.    
6.     <properties resource="jdbc.properties"></properties>
8.    
9.     <typeAliases>
10.         <typeAlias type="com.zjq.domain.User" alias="user"></typeAlias>
11.     </typeAliases>
13.    
14.     <environments default="developement">
15.         <environment id="developement">
16.             <transactionManager type="JDBC"></transactionManager>
17.             <dataSource type="POOLED">
18.                 <property name="driver" value="${jdbc.driver}"/>
19.                 <property name="url" value="${jdbc.url}"/>
20.                 <property name="username" value="${jdbc.username}"/>
21.                 <property name="password" value="${jdbc.password}"/>
22.             </dataSource>
23.         </environment>
24.     </environments>
26.    
27.     <mappers>
28.         <mapper resource="com/zjq/mapper/UserMapper.xml"></mapper>
29.     </mappers>
31. </configuration>

复制代码

不分批次直接梭哈

MyBatis直接一次性批量插入30万条，代码如下：
[code]@Testpublic void testBatchInsertUser() throws IOException {    InputStream resourceAsStream =            Resources.getResourceAsStream("sqlMapConfig.xml");    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);    SqlSession session = sqlSessionFactory.openSession();    System.out.println("===== 开始插入数据 =====");    long startTime = System.currentTimeMillis();    try {        List userList = new ArrayList();        for (int i = 1; i yun 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.</p></blockquote>

超出最大数据包限制了，可以通过调整max_allowed_packet限制来提高可以传输的内容，不过由于30万条数据超出太多，这个不可取，梭哈看来是不行了
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！