twitter – 使用RavenDB批量插入数据

发布时间：2020-12-14 04:46:23 所属栏目：大数据来源：网络整理

导读：我试图将大量数据(Twitter流每秒约20-25条推文)导入RavenDB进行测试和大规模数据测试.我有一些代码可以很好地写入数据,但过了一段时间我得到一个错误：我不会填写所有代码,但这里是它的要点： Open RavenDB SessionStart reading data from Twitter StreamF

我试图将大量数据(Twitter流每秒约20-25条推文)导入RavenDB进行测试和大规模数据测试.我有一些代码可以很好地写入数据,但过了一段时间我得到一个错误：

我不会填写所有代码,但这里是它的要点：

Open RavenDB Session
Start reading data from Twitter Stream
For each line,parse JSON into known C# object
add item to RavenDB
increment counter
if counter % 25 = 0,save changes to RavenDB.

我没有尝试它的建议,因为它说要看看这样做的不同方式.我应该每200次左右插入会话吗？有没有办法用Raven DB插入一个对象数组？我这样做完全错了吗？

解决方法

两个选项：

>在达到限制之前创建一个新会话(每个会话25个请求是一个很好的值)
>将DocumentSession.Advanced.MaxNumberOfRequests增加到适当的值

无论哪种方式都可行,但第二种方法稍快一些.

编辑：根据Orens在下面的评论,它实际上是第一种更快的方法.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!