【问题标题】:How to read Elasticsearch snapshot files in python?如何在 python 中读取 Elasticsearch 快照文件?
【发布时间】:2021-10-07 04:17:43
【问题描述】:

我有一个 ES 集群,我们开始使用 Azure 函数(在 python 上)将数据流式传输到 Azure Blob。基本上,我以 JSON 格式获取最后 5 分钟的数据,压缩 JSON 列表并将它们存储在 Blob 中以获取实时数据。我们有一个 S3 存储桶,其中包含快照。有没有办法用 python 读取文件中的 JSON,而不必在单独的 ES 上恢复索引来获取历史数据?这是大量数据,必须运行一个单独的实例来恢复它,然后我才能提取 JSON,但这并不划算。

【问题讨论】:

    标签: python json elasticsearch azure-blob-storage elasticsearch-snapshot


    【解决方案1】:

    不,不可能访问快照中的数据,您需要恢复它们。

    但您不需要单独的实例/集群,您可以使用您拥有的相同实例/集群进行恢复,并将恢复的索引重命名为documentation 中的示例。

    【讨论】:

    • 我需要一个单独的集群的原因是,这是历史数据,如果我们要在当前集群(生产)上恢复,会干扰发送给它的实时数据并影响其性能跨度>
    猜你喜欢
    • 1970-01-01
    • 2019-10-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-11-21
    • 2015-08-20
    • 2016-05-25
    • 2021-02-20
    相关资源
    最近更新 更多