将旧数据从 Elasticsearch 归档到 Google Cloud Storage

Question

我在Google Compute Instance 中安装了elasticsearch 服务器。每分钟都在摄取大量数据，下划线磁盘很快就会填满。

我知道我们可以增加磁盘的大小，但这对于存储长期数据会花费很多。

我们需要 Elasticsearch 服务器 (Compute engine disk) 中 90 天的数据和超过 90 天（直到 7 年）的数据存储在 Google 云存储桶中。较早的数据应该可以检索，以备日后分析时使用。

我知道的一种方法是经常拍摄快照并使用Curator 从 Elasticsearch 服务器中删除超过 90 天的索引。这样我可以保持磁盘空闲并最大限度地降低存储成本。

有没有其他方法可以在不手动自动化上述想法的情况下完成？

例如，Elasticsearch 提供的开箱即用的东西，它会将超过 90 天的数据本身存档并将数据文件保存在磁盘中，然后我们可以手动将这个文件从磁盘中移出Google Cloud Storage。

Answer 1

没有其他办法，要备份您的数据，您需要使用snapshot/restore API，这是唯一安全可靠的可用选项。

有一个插件可以使用google cloud storage 作为存储库。

如果您使用的是 7.5+ 版和带有基本许可证的 Kibana，则可以直接从 Kibana interface 配置快照，如果您使用的是旧版本或没有 Kibana，则需要依赖 Curator 或使用 crontab 调度程序运行的自定义脚本。

虽然您可以复制数据目录，但每次要复制数据时都需要停止整个集群，并且要恢复它，您还需要每次都从头开始创建一个新集群，这是很多当你有快照/恢复 API 之类的东西时，工作并不实用。

Answer 2

查看快照生命周期管理和索引生命周期管理。它们可通过基本许可证获得。