【发布时间】:2016-11-03 19:34:14
【问题描述】:
我有一个每小时将数据从数据库索引到 ElasticSearch 的工作,但索引编制似乎需要一个多小时。
如果有第二个索引,而另一个索引仍在运行,会发生什么?有没有可能出现的问题?
【问题讨论】:
标签: json search elasticsearch elasticsearch-plugin
我有一个每小时将数据从数据库索引到 ElasticSearch 的工作,但索引编制似乎需要一个多小时。
如果有第二个索引,而另一个索引仍在运行,会发生什么?有没有可能出现的问题?
【问题讨论】:
标签: json search elasticsearch elasticsearch-plugin
我觉得这个问题有点模糊......
如果在索引数据期间您的工作中没有指定_id - 您将产生重复 - 这是一种可怕的情况。
但是,如果您指定_id,您只会重新索引相同的文档几次 - 它不是那么糟糕,但它对您的服务器来说是额外且不必要的工作。
但如果您的工作消耗大量资源(cpu、内存等),您的服务器可能会过载...
【讨论】:
什么都不应该发生。 Elasticsearch 可以轻松处理这个问题。我的建议是从另一面看这个问题。也许最好尝试改进同步。例如将插入注册到队列,然后将其扩展到多个工作人员。顺便说一句,您是否使用批量插入?
【讨论】: