Solr用于重新索引大型文档语料库

我们的Solr设置目前是单核心.我们将来会添加更多内核,但绝大多数数据都写入单个内核.

考虑到这一点,分片并不适用于我们.我查看了分布式搜索 – 切割数据并在不同服务器上运行不同的切片.对我来说,这似乎太复杂了.它会使备份/恢复更加困难,并且在执行分布式搜索时最终会丢失某些功能.

我们最终采用的方法是一个非常简单的集群主/从设置.

每个集群由一个主数据库和两个负载平衡的solr从设备组成.所有新数据都写入主数据库,从站配置为每5分钟同步一次新数据.在正常情况下,这是一个非常好的设置.在主服务器上进行重新索引操作,并且在发生这种情况时,仍然可以从中读取从服务器.

当发生重大的重新索引操作时,我从负载均衡器中删除一个从站并关闭另一个从站的轮询.因此,面向Solr数据库的客户现在不与主服务器同步,而另一个正在更新.重新索引完成且离线从属数据库同步后,我将其添加回负载均衡器,从负载均衡器中删除其他从属数据库,然后重新配置它以与主站同步.

到目前为止,这一点非常有效.我们目前在我们的数据库中有大约500万个文档,这个数字在多个集群中的扩展性要高得多.

希望这可以帮助！