批量插入数据过慢,有啥好的方法
0
现在有个任务,为了提高效率,需要程序取出来,然后做计算,生成多批数据(每批大概六七条数据),再插入和更改(由于每批插入时得保持原子性),所以使用的是循环插入,每个循环体内开启事务并提交,测试下来,1秒大概只能插入100条数据。每次任务大概处理5W条数据,插入效率太低,有啥好的办法没?
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
3 个回复
Bob - 同程旅游大数据+BI 架构师 2015-11-13 回答
赞同来自: niuggts
数据库服务器上执行这些操作会比程序单条循环 快
xpivot - SSAS & Excel &Cube架构师、产品经理 课程地址:http://www.hellobi.com/course/34 2015-11-13 回答
赞同来自:
SqlBulkCopy
老头子 - 专注是唯一的捷径 2015-11-13 回答
赞同来自:
频繁commit会导致DB性能下降
可以根据机器性能设置5000-20000一提交