重复数据删除 - Postfix 服务器？答案

【问题标题】：Data deduplication - Postfix server?重复数据删除 - Postfix 服务器？
【发布时间】：2014-09-27 02:29:05
【问题描述】：

我有一个运行 Postfix 的邮件服务器。每条消息都作为文件保存在文件系统中，所以我正在研究是否有办法减少重复文件，从而减少磁盘空间使用。

我尝试安装和使用 opendedup，但我真的不明白它是如何工作的。官方的快速入门指南只是没有提及它将使用哪个物理磁盘（我希望仅在 /dev/sdb1 上启用 dedup 等）。

我知道在 Microsoft Windows Server 上使用重复数据删除非常简单，而且效果很好，我在想是否有办法使用 Windows Server 创建 iSCSI 服务器，打开重复数据删除，然后在 debian 上映射 iSCSI正在运行 Postfix。但这看起来真的很奇怪=/

顺便说一句，我在 Hyper-V 服务器上运行 Postfix 服务器。

我真的需要提供更大的邮箱，如果我用 Linux 和 Postfix 都搞不定，他们会花很多钱在 Microsoft Exchange 上。

【问题讨论】：

除非您有多个用户通过本地别名或类似方式订阅大量邮件列表（这很容易成为一个明显的优化点——将列表作为新闻组提供，或者其他方式——请参阅gmane.org），您应该会发现每条消息都是独一无二的，因此重复数据删除在这里无论如何都不会真正有帮助。各种Received: 标头等包含每条消息独有的传递详细信息。如果您可以并且想要将这些因素考虑在内，那将是一个重大的开发项目。
你认为即使在块级别上工作也行不通？
没有可用的实际测量值来评估其可行性，但我对此表示怀疑。正如@starkers 所建议的那样，压缩似乎是一个更有前途的想法。但对于编程网站 SO，这些都不是主题。

【解决方案1】：

您可以使用 Opendedup 作为后缀服务器。它作为虚拟文件系统安装在现有文件系统之上，为安装点提供重复数据删除。使用可变块重复数据删除，您应该获得良好的重复数据删除率。

quickstart guide 应该可以帮助您入门。

【讨论】：

【解决方案2】：

愚蠢的问题，但要提供更大的邮箱，为什么不获得更多存储空间并像普通管理员一样安装它？

iSCSI 应该可以通过 hyper-v 导入，并且如果 VM 具有 LVM，您只需将新磁盘导入磁盘组并扩展 FS。

或者，您可以尝试业务中最好的重复数据删除 (ZFS)，但如果您无法弄清楚 OpenDedup，这可能太具有挑战性了。

在我看来，Linux 实现 (http://zfsonlinux.org/) 并不真正稳定（我已经在家里运行了一年多，但我还不会在生产环境中运行它...

对于生产，我建议与 http://www.ixsystems.com/ 交谈或熟悉 FreeNAS 和 FreeBSD 的 ZFS。或者 IllumOS 或类似的 Solaris 分支。

IIRC ZFS 重复数据删除的经验法则是，每 TB 数据需要 5Gb 内存，否则性能将受到严重影响。我个人和专业地使用 LZO 压缩而不是重复数据删除。（注意：ZFS 进行块级重复数据删除）

就其他 linux 重复数据删除系统而言，我不知道我会在生产中投入什么。话虽如此，但压缩肯定是一个值得考虑的好解决方案！

许多稳定的 FS'es 支持动态压缩、ext4 和我头顶的 reiserfs。

然而，我上次尝试 btrfs 时并不喜欢它的性能。

还有很多其他选项，但建议您查看维基百科上的文件系统矩阵：http://en.wikipedia.org/wiki/Comparison_of_file_systems

请注意，NTFS 不知道其文件系统上的校验和，我不会在生产中使用它。

如果没有 b-tree 样式校验和 (ZFS) 或硬件 RAID（BBU 支持），基本上数据是不安全的。我会随时将 zfs 用于硬件突袭，没有写入漏洞。

【讨论】：