具有良好磁盘压缩的分布式键值存储？

Question

我需要一个简单的键值存储，具有良好的磁盘压缩能力，但在谷歌上搜索的运气并不好。在评估存储时，似乎没有太多人关注磁盘大小。

我需要能够使用短字符串键放置/获取大小在 1k 到 100k 之间的持久二进制对象。每个密钥需要存储在至少 2 个节点上以实现冗余。可用性比一致性更重要。我不需要事务、SQL 查询或类似的东西。磁盘空间对于扩展我的系统很重要。

有什么建议吗？

Answer 1

我最终使用 Google 协议缓冲区对我的对象进行了一定程度的压缩，并将它们存储在 Apache Ignite 中并启用了 zstd 压缩。这似乎运作良好。磁盘大小约为原始 csv.gz 源数据的 80%。