java :database 大数据量数据的插入/更新操作 solution

编程入门 行业动态 更新时间:2024-10-10 03:33:47

java :database 大<a href=https://www.elefans.com/category/jswz/34/1771445.html style=数据量数据的插入/更新操作 solution"/>

java :database 大数据量数据的插入/更新操作 solution

项目需要有一个批量upload 数据功能,此功能要求批量upload 的数据需要进行业务数据库表的update insert

每一次操作的数据量大约10k,对业务表的操作性能要求比较高,即要以最小的代价影响业务表的使用

使用数据库:sqlserver 2014  语言:java


使用jdbc 的batch 操作,在除了主键以外没有其他索引的情况下,对原数据进行 delete-- insert 操作,大约10s 左右


对业务表的操作时间太长,无法接受


solution:把数据load 到临时表中,然后采用表对表操作,如insert into business_table select .. from temp_table where conditions

                  对业务表操作时间从10s降低到0.6s


超出业务预期

更多推荐

java :database 大数据量数据的插入/更新操作 solution

本文发布于:2024-02-07 04:34:04,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1753633.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:数据   操作   java   database   solution

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!