ruby-on-rails – 保持elasticsearch和数据库同步

发布时间：2020-12-17 03:14:54 所属栏目：百科来源：网络整理

导读：我试图找到一种方法来保持我的 mysql数据库和elasticsearch数据库同步.我使用 jprante / elasticsearch-river-jdbc插件为elasticsearch设置了一个jdbc河.当我执行以下请求时： curl -XPUT 'localhost:9200/_river/my_jdbc_river/_meta' -d '{"type" : "jdbc"

我试图找到一种方法来保持我的 mysql数据库和elasticsearch数据库同步.我使用 jprante / elasticsearch-river-jdbc插件为elasticsearch设置了一个jdbc河.当我执行以下请求时：

curl -XPUT 'localhost:9200/_river/my_jdbc_river/_meta' -d '{
"type" : "jdbc","jdbc" : {
    "driver" : "com.mysql.jdbc.Driver","url" : "jdbc:mysql://localhost:3306/MY-DATABASE","user" : "root","password" : "password","sql" : "select * from users","poll" : "1m"
},"index" : {
    "index" : "test_index","type" : "user"
}
}'

河流开始索引数据,但对于某些记录,我得到了org.elasticsearch.index.mapper.MapperParsingException.那么有关于这个问题here的讨论,但我想知道解决这个问题的方法.

是否可以通过为我要编制索引的“类型”的所有“字段”创建explicit mapping来永久修复此问题,还是有更好的方法来解决此问题？

我的另一个问题是,当jdbc-river再次轮询数据库时,它似乎将整个数据集(在sql查询中给出)重新索引到ES中.我不确定,但是这样做是因为elasticsearch想要添加新数据以及更新现有数据中的任何更改吗？如果表的数据是静态的,是否可以仅索引新数据？

解决方法

你看过默认映射了吗？
http://www.elasticsearch.org/guide/reference/mapping/dynamic-mapping.html

我认为它可以帮助你.

如果数据表中有插入日期字段,则可以使用它来过滤必须编制索引的内容.
见https://github.com/jprante/elasticsearch-river-jdbc#time-based-selecting

HTH

大卫

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!