sql-server – 将批量数据索引到ElasticSearch的首选方法？

发布时间：2020-12-12 08:23:24 所属栏目：MsSql教程来源：网络整理

导读：我一直在寻找ElasticSearch作为解决方案,在我公司获得更好的搜索和分析功能.我们所有的数据都在SQL Server中,我已经成功安装了JDBC River,并将一些测试数据写入ES. 河流似乎是can be deprecated in future releases,JDBC river由第三方维护.而Logstash似乎不

我一直在寻找ElasticSearch作为解决方案,在我公司获得更好的搜索和分析功能.我们所有的数据都在SQL Server中,我已经成功安装了JDBC River,并将一些测试数据写入ES.

河流似乎是can be deprecated in future releases,JDBC river由第三方维护.而Logstash似乎不支持从SQL Server索引(不知道它是否是计划的功能).

所以对于我想将数据从SQL Server移动到ElasticSearch的情况,索引数据和维护索引的首选方法是什么是SQL用新数据更新？

从链接的线程：

We recommend that you own your indexing process out-of-band from ES and make sure it scales with your needs.

我不太确定从哪里开始.是否使用我提供的API之一？

解决方法

我们使用RabbitMQ将数据从SQL Server传送到ES.这样,兔子会照顾排队和处理.

作为一个说明,我们可以从SQL到Rabbit每秒可以运行超过4000条记录.在将数据放入ES之前,我们做了更多的处理,但是我们仍然以每秒超过1000条记录插入到ES中.两端令人印象深刻.兔子和ES都很棒！

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!