创建集群文件服务器系统

Question

我目前有 3 个文件服务器，每个都有一个 24 个磁盘的 raid 6 阵列。

问题是，有没有办法让它们作为一个大驱动器而不是 3 个独立的系统工作。我需要更多的吞吐量，我认为这是一种可能性。也许像 Hadoop 这样的分布式文件系统？

Answer 1

答案取决于此硬件上数据的预期用途。 Hadoop 文件系统 HDFS - 适合非常特殊的 Map-Reduce 处理需求。主要限制，对于它的预期用途来说是可以的，但对于其他人来说是有问题的：
a) 文件不能编辑，只能追加。
b) 存储许多小文件会有问题。它专为大小为 64 MB 及以上的文件而设计。此限制的原因是所有元数据都存储在内存中。
c) 它不是 posix 兼容的 FS，所以你不能挂载它并被不知道 HDFS 的应用程序用作常规文件系统。

我会考虑像 GlusterFS、Ceph 或 Lustre 这样的选项，它们是为类似于您描述的情况而构建的。需要更多信息来给出选择其中之一的好建议。