【问题标题】:elasticsearch bulk queue sizeelasticsearch批量队列大小
【发布时间】:2016-01-19 19:47:41
【问题描述】:

我在批量导入数据时监控 elasticsearch 集群。

所以当我运行 curl localhost:9200/_cat/thread_pool?v

它显示:

host            ip           bulk.active bulk.queue bulk.rejected index.active index.queue index.rejected search.active search.queue search.rejected 
xye@OptiPlex  127.0.0.1            8          6             0            0           0              0             0            0               0

我目前正在同时运行 5 个脚本来导入数据,批量大小为 500,我还将批量队列大小也增加了 300。

所以我想知道 bulk.queue 6 是什么意思。是一次批量操作中只有 6 个文档,还是实际上是 6 个批量请求,即 6 * 500 = 3000 个文档?

【问题讨论】:

    标签: elasticsearch elasticsearch-bulk-api


    【解决方案1】:

    bulk.queue 表示队列中的批量请求数,而不是文档数。 index.queue 表示index queue 中存在的要索引的文档数。

    【讨论】:

    • 那么如果我将批量队列设置的非常大,是否可以避免 EsRejectedExecutionException?
    • is bulk.rejected 也代表 # 个文档或 # 个批量操作?
    • @milodky 我知道这已经很晚了,但是将批量队列设置为一个非常大的值有其自身的问题。尝试同时在内存中保留这么多批量请求时,您可能会遇到内存问题。
    • @ShaiM。不,bulk.rejected 表示批量请求失败的次数。
    猜你喜欢
    • 1970-01-01
    • 2017-03-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-11-05
    • 2017-04-02
    相关资源
    最近更新 更多