【问题标题】:How to store shards in elasticsearch, when there are to path set(path.data)?当有路径集(path.data)时,如何在elasticsearch中存储分片?
【发布时间】:2013-02-24 07:50:41
【问题描述】:

我有一个节点elasticsearch集群,并配置了两个路径来存储shadr,比如这里path.data:/partone,/parttwo。 1 GB 硬盘安装在 /partone 文件夹中,5 GB 硬盘安装在 /parttwo 文件夹中。我使用了大约 483 MB 的文件来索引,然后在这个节点中出现了 536644 个文档。当我删除 /partone 文件夹中的孔文件时,文档数变为 531833。这意味着一些文档存储在 /partone 文件夹中。

我从 elasticsearch 网站上阅读如下: 多个数据位置允许对其进行条带化。条带化很简单,将整个文件放在其中一个位置,并根据可用空间最大的位置决定文件的放置位置。

我的问题是,如果条带化基于可用空间最大的位置,则孔文件应存储在大小大于 partone 文件夹的 parttwo 文件夹中,不是吗?为什么folderone中存在一个小文件?

【问题讨论】:

    标签: path elasticsearch


    【解决方案1】:

    您引用的段落是指实际的 Lucene 索引。有一些与 ES 如何执行复制相关的细节,这些细节也可以存储在较小的驱动器上。当 ES 将数据刷新到 Lucene 时,这些会被清除。例如,使用-Des.path.data=/d/data/foo,/tmp/foo,在索引维基百科几分钟并执行-XPOST /_flush 后,我看到:

    % du -ks /d/data/foo /tmp/foo
    205680  /d/data/foo
    776     /tmp/foo
    % df -h /d/data/foo /tmp/foo
    Filesystem                     Size  Used Avail Use% Mounted on
    /dev/sda5                      294G   28G  251G  10% /d
    /dev/disk/by-uuid/074cc648...  106G   91G   11G  90% /
    

    然而,我很惊讶在从/partone 中删除一些文件后,您能够计算文档数。删除 /tmp/foo 后,我的索引不起作用。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-01-03
      • 1970-01-01
      • 1970-01-01
      • 2017-09-12
      • 2016-09-27
      • 1970-01-01
      相关资源
      最近更新 更多