加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MsSql教程 > 正文

数据库 – 使用SqlBulkCopy和Azure进行并行批量插入

发布时间:2020-12-12 07:25:44 所属栏目:MsSql教程 来源:网络整理
导读:我在云上有一个带有sql azure数据库的天蓝色应用程序.我有一个worker角色,需要对文件进行解析处理(最多约3000万行),所以我不能直接使用BCP或SSIS. 我目前正在使用SqlBulkCopy,但是这看起来太慢了,因为我看到400k行的加载时间长达4-5分钟. 我希望并行运行我的
我在云上有一个带有sql azure数据库的天蓝色应用程序.我有一个worker角色,需要对文件进行解析处理(最多约3000万行),所以我不能直接使用BCP或SSIS.

我目前正在使用SqlBulkCopy,但是这看起来太慢了,因为我看到400k行的加载时间长达4-5分钟.

我希望并行运行我的批量插入;然而,阅读有关并行导入数据/控制锁定行为的文章,它说SqlBulkCopy要求表没有聚簇索引,并且需要指定表锁(BU锁).但是,azure表必须具有聚簇索引…

甚至可以在SQL Azure中的同一个表上并行使用SqlBulkCopy吗?如果没有,那么还有另一个API(我可以在代码中使用)吗?

解决方法

我没有看到你如何比使用SqlBulkCopy更快地运行.在我们的项目中,我们可以在大约3分钟内导入250K行,因此您的速度似乎是正确的.

即使技术上可行,我也不认为并行这样做会有所帮助.我们一次只运行1个导入,否则SQL Azure会开始计时我们的请求.

实际上,有时在无法导入的同时运行大型分组查询. SQL Azure在确保服务质量方面做了大量工作,包括超时请求超时,占用太多资源等

因此,同时进行多个大型批量插入可能会导致一次超时.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读