【问题标题】:why not increase performance by setting refresh interval in elasticsearch为什么不通过在 elasticsearch 中设置刷新间隔来提高性能
【发布时间】:2013-10-29 11:06:23
【问题描述】:
我观看了有关提高索引性能的网站备忘录。
这是网站link
此链接指导我如何提高性能。但是,当我使用 elasticsearch-py 批量处理 python api 时,它并没有提高 elasticsearch 中的索引速度。
即使所有配置更改都不会影响批量索引性能。
我使用了并行进程或线程。每秒最大平均 30000 个索引。
我做错了什么?
主节点:1
数据节点:5个包括主节点
CPU : Intel(R) Xeon(R) CPU E5645 @ 2.40GHz
内存:32G
ES_HEAPSIZE : 10G
谢谢
【问题讨论】:
标签:
performance
indexing
elasticsearch
bulkinsert
【解决方案1】:
它实际上显着提高了性能(我这边超过 50%)。您只需要禁用 refresh_interval (完成索引数据后再次启用它)
curl -XPUT "http://localhost:9200/$INDEX_NAME/_settings" -d '{ "index" : { "refresh_interval" : "-1" }}'
#index data......
curl -XPUT "http://localhost:9200/$INDEX_NAME/_settings" -d '{ "index" : { "refresh_interval" : "1s" }}'