51dev.com IT技术开发者社区

51dev.com 技术开发者社区

mysql批量插入数据优化

互联网报道阅读(21)2020-02-14 收藏0次评论

mysql批量插入数据优化

一.问题

    很早以前做了一个更新功能,就是将A表中的数据全部查找出来,相对B表中改变的数据更新B表,B表中没有的数据插入B表。

    最近发现该功能执行速率减慢,有时还跑超时。原来是A表中数据渐渐变多,就有了这个问题。

二.优化知识

   1.循环每条插入改为一条语句插入多条。

     即使用 insert into table () values  (),(),(),()插入,如果字符串太长,可暂时设置 ini_set('memory_limit','1024M');

    这是因为合并后日志量(MySQL的binlog和innodb的事务让日志)减少了,降低日志刷盘的数据量和频率,从而提高效率。通过合并SQL语句,同时也能减少SQL语句解析的次数,减少网络传输的IO

   2.在事务中进行插入处理

     使用事务可以提高数据的插入效率,这是因为进行一个INSERT操作时,MySQL内部会建立一个事务,在事务内才进行真正插入处理操作。通过使用事务可以减少创建事务的消耗,所有插入都在执行后才进行提交操作

  3.如果可以数据有序插入

    这是因为由于数据库插入时,需要维护索引数据,无序的记录会增大维护索引的成本

  4.分批次插入

 三.解决

   分批次取出数据,每批数据先做处理,有更新的更新,要插入的拼接成一条sql语句,最后一次性插入。每批数据的处理都放在事务中。

以上就是mysql批量插入数据优化的全部内容。