Cloudera Mountable HDFS 是否提供去重

Question

着眼于运行基于 HDFS 的存储集群，并着眼于通过 Cloudera 版本使用 Mountable HDFS 系统的简单方法。

我要问的第一个问题是，这会提供自动重复数据删除吗？

我问的第二个问题是否会进行重复数据删除，当所有用户删除包含某个重复数据删除块的文件时，它实际上是从存储中删除该块还是仅删除该用户的索引/引用？

最后，这个方法会包括 Rainstor 压缩方法吗？

感谢您的意见

Answer 1

不，HDFS 不包括重复数据删除。

该架构主要侧重于优化使用顺序写入/读取模式，因此它几乎反对重复数据删除，因为我知道的每种重复数据删除方法都会引入一定数量的随机 IO 模式。