数据量数据的插入/更新操作 solution"/>
java :database 大数据量数据的插入/更新操作 solution
项目需要有一个批量upload 数据功能,此功能要求批量upload 的数据需要进行业务数据库表的update insert
每一次操作的数据量大约10k,对业务表的操作性能要求比较高,即要以最小的代价影响业务表的使用
使用数据库:sqlserver 2014 语言:java
使用jdbc 的batch 操作,在除了主键以外没有其他索引的情况下,对原数据进行 delete-- insert 操作,大约10s 左右
对业务表的操作时间太长,无法接受
solution:把数据load 到临时表中,然后采用表对表操作,如insert into business_table select .. from temp_table where conditions
对业务表操作时间从10s降低到0.6s
超出业务预期
更多推荐
java :database 大数据量数据的插入/更新操作 solution
发布评论