DB文件夹利用大量空间创建空间问题答案

【问题标题】：DB folder utilising lot of space creating space issueDB文件夹利用大量空间创建空间问题
【发布时间】：2018-03-14 06:02:18
【问题描述】：

我有一个 grafana windows 服务器。我们在其中集成了 HyperV snaphot 相关信息以及 CPU、HV 的内存使用等。我可以在我们的 grana windows 服务器中看到以下文件夹

C:\InfluxDB\data\telegraf\autogen

在这个 autogen 文件夹下，我可以看到多个带有 .tsm 文件的子文件夹。每个文件每 7 天创建一次，文件夹大小约为 4 到 5GB。从 2017 年 2 月 2 日到 2018 年 3 月 14 日，这个 autogen 文件夹中有很多文件，占用了大约 225GB 的空间。

【问题讨论】：

标签： influxdb grafana

【解决方案1】：

你所看到的： autogen 是默认的 Retention Policy (RP) 由 InfluxDB 自动创建，具有无限的数据保留期限。 Influx 中的所有数据点在逻辑上都存储在shards 中。物理分片数据被压缩并存储在.tsm 文件中。分片被统一为分片组。每个分片组覆盖由所谓的shard duration 定义的特定时间范围，并存储属于该时间间隔的数据点。 By default 用于具有retention duration > 6 month 分片组持续时间的 RP 设置为 7 days。

有关更多信息，请参阅storage engine 上的文档。

关于您的问题：

“我们是否可以缩小 autogen 文件的大小？”
可能没有。你唯一能做的就是依靠 InfluxDB 内部压缩。 Here 他们说如果你增加shard duration 可能会有所改善。
*虽然，因为 InfluxDB 丢弃整个分片而不是单独的数据点，所以shard duration 的增加将使您的数据被存储，直到整个分片超出当前保留期限的范围，然后才会被丢弃。但是，如果您有无限的保留期限，那也没关系。这就引出了第二个问题。
“是否可以删除autogen文件夹下的旧文件？”
如果您可以承受丢失旧数据或不能承受太多存储空间，InfluxDB 允许指定数据保留策略 (RP)，上面已经提到。基本上，您的所有测量都与特定的 RP 相关联，并且一旦保留期限结束，数据就会被删除。因此，如果您指定 1 年的 RP，InfluxDB 将自动删除所有早于 now() - 1 year 的数据点。 RP 是处理存储问题的标准（并且非常明显）方式。 RP 理念的一个逻辑延续是对较长离散时间间隔内的数据进行分组和聚合（下采样）。在 Influx 中，它可以通过连续查询 (CQ) 来实现。你可以阅读更多data retention and downsamping here。

总之，存储限制是不可避免的，正确配置的保留策略是可行的方法。

【讨论】：

非常感谢 windy。