大容量存储解决方案答案

【问题标题】：Large Storage Solution大容量存储解决方案
【发布时间】：2014-05-22 10:50:23
【问题描述】：

我们是第三世界国家的一家小型自助 ISP，那里的带宽通常既昂贵又缓慢。我们最近有一个客户需要存储解决方案，主要是 10 TB 的视频文件（它是一个电视站）。问题是我知道我在 linux 周围的方式，但我以前从未做过这样的事情。我们有一个 backblaze 3 存储盒外壳，我们正在考虑将其用作存储服务器。服务器将直接连接到客户，因此它不会通过互联网，因为 100+mbps 的速度在这个地区是闻所未闻的。

我正在考虑使用全部使用 ext4 格式化的 4TB 硬盘，并使用 LVM 将它们变成一个大容量（至少 50-70tb）。因此，客户登录到类似客户端的 FTP 并转储他/她想要的任何文件。但是客户只看到一个卷，我们可以根据他的要求增加空间。当然，这只是初步研究的论文，因为我没有使用这种系统的经验。另外我必须考虑成本，所以不能选择任何专有解决方案。

我的问题是：

这可能是处理此问题的最佳方法吗，是否有同样好的或更好的解决方案？
对于大型存储解决方案（至少对我来说很大），在处理数据损坏和 HD 故障时，我有哪些经济高效的选择。

很想听听你们可能有的任何其他解决方案和提示。谢谢！

【问题讨论】：

您对可靠性和冗余有什么要求？
我们的客户不精通技术，因此没有具体要求，但显然我们希望牢记这些事情，但不知道如何解决这个问题。
很遗憾，在服务器故障时无法使用此帐户提问。我想我应该再创建一个？
即使您的客户没有要求，如果您销售存储解决方案，我认为拥有冗余是一种常见的礼貌。或者至少通知您的客户“顺便说一句，一个磁盘故障并且您的数据已经消失，仅供参考”
我们绝对希望有某种冗余，只是我们不知道如何以具有成本效益的方式解决这个问题，这就是我的意思。

标签： storage

【解决方案1】：

ZFS 可能是一个不错的选择，但目前还没有适用于 Linux 的原生无错误解决方案。在这种情况下，我会推荐其他操作系统。

今天我推荐企业磁盘上的 Linux MD raid5 或消费/桌面磁盘上的 raid6。我不会为一个阵列分配超过 6 个磁盘。然后可以使用 LVM 将阵列绑定到适合 ext4 的逻辑卷。

ext4 文件系统经过良好测试且稳定，而 XFS 可能更适合大文件存储。 XFS 的缺点是无法缩小 XFS 文件系统。我更喜欢 ext4，因为它更灵活。

还请注意，即使您将数据存储在 RAID 阵列上，仍然需要备份。数据可能会静默损坏或被意外删除。

最后，一切都取决于客户想要什么。告诉客户服务价格通常会对需求产生影响。

【讨论】：

【解决方案2】：

我想补充一下mingalsuo给出的答案。正如他所说，这实际上取决于客户的要求。您没有具体说明客户将如何处理这些数据。是否仅用于存档？他们会主动传输数据吗？你对这个项目的预算是多少？这些类型的答案将更好地确定建议的解决方案。这里有一些基于大量假设的选项。也许其中一个非常适合您的项目。

容量：在这种情况下，您并不关心性能，而是对容量更感兴趣。在这种情况下，主轴的数量并不重要。正如 Mingalsuo 所说，将一组 RAID-6 SATA 阵列放在一起，并使用 LVM 来产生大容量。

小型企业绩效：在这种情况下，您需要性能。客户将要存储文件，但也需要同时处理少量数据流的能力。在这里，您需要尽可能多的锭子。对于流媒体，关注控制器缓存的大小并没有什么好处。只关注锭数。你想要尽可能多的。请记住，重建故障驱动器的时间会随着驱动器的大小而增加。而且，在重建期间，您的表现会受到影响。由于这些原因，我建议使用较小的驱动器。也许最多 1TB 驱动器。这将为您提供更快的重建时间和更多的流转轴。

企业绩效：在这里，您需要高性能 - 类似于企业所需要的。您需要许多同时的数据流并且需要性能。在这种情况下，我会远离 SATA 驱动器，而使用 900G 或 1.2TB SAS 驱动器。我还建议您考虑从服务器层抽象存储层。创建 Linux 服务器并使用 iSCSI（或光纤）连接到存储设备。如果可能，这将允许您进行负载平衡，或者至少使从灾难中恢复更容易。

非传统解决方案：您说该环境几乎没有与 Internet 的高速连接。同样，根据要求，您仍然可以考虑云存储。听我说:) 假设文件将在今天上传，用于下周或下个月，然后很少阅读。在这种情况下，这些文件无缘无故地坐在（可能）昂贵的磁盘上，除了存档。将这些活动文件保留在昂贵的（本地）磁盘上，直到它们“退休”然后将它们移动到较便宜的磁盘上不是更好吗？有一些解决方案可以做到这一点。例如，一种称为 StorSimple。这是一个包含 SAS（甚至闪存）驱动器的设备，并使用云存储将“退休”数据从本地存储自动迁移到云存储。由于此数据已停用，因此将其移至云端所需的时间是否比正常时间长也没关系。而且，该设备在被访问时会自动将其从云中拉回本地存储。这个解决方案可能对您的项目来说过于昂贵，但您可能会发现类似的解决方案对您有用。这样做的额外好处是，您的数据由云提供商自动备份，您可以随意使用无限量的存储空间。

【讨论】：