ElasticSearch 将完整索引转储到 csv 文件

Question

是否可以在.csv 文件中轻松地export whole index（所有存储的字段）弹性搜索集群（可能开箱即用）？

我能想到的替代方法是查询整个索引，然后转换结果...但我真的不喜欢解析一个巨大的 json 的想法，因为它包含数百万个文档！

有没有其他方法或想法来实现导出？

Answer 1

您可以使用Scan and Scroll API。这样您就不需要解析庞大的 JSON 文件了——您可以分批进行解析。

Answer 2

免责声明：我是 estab 的作者。

---

estab 将弹性搜索字段导出为制表符分隔值。如果您没有太多字段，则可以轻松地将它们全部显式导出。 estab 在内部使用扫描和滚动 API。

例子：

假设您的索引包含以下文档：

{
    "name": "Kiwi",
    "genus": "Apteryx",
    "populations": [
        {"location": "North Island", "size": 2500},
        {"location": "Little Barrier Island", "size": 2000}
    ]
}

然后您可以通过以下方式导出整个索引：

$ estab -f 'name genus populations.location populations.size'
Kiwi    Apteryx North Island|Little Barrier Island  2500|2000

请注意，嵌套字段不容易映射到表格形式。 estab 默认使用| 分隔多个值，您可以通过通常的点表示法引用嵌套字段。