是否可以将hadoop集群虚拟划分为小集群答案

【问题标题】：Is it possible to virtually divide hadoop cluster into small clusters是否可以将hadoop集群虚拟划分为小集群
【发布时间】：2018-12-27 09:04:13
【问题描述】：

我们正在努力构建一个包含 100 个节点和 300 TB 存储空间的大型集群。然后我们必须将其提供给具有受限资源限制的不同用户（客户端），即，我们不想向每个用户公开完整的集群。是否可以？如果不可能，那么还有其他方法可以做到这一点。有没有可用的内置解决方案？就像集群按需分区一样。

【问题讨论】：

每个节点平均只有 3TB 的存储空间？您意识到每个数据节点可以使用多个硬盘驱动器，对吗？这种类型的存储首选 4TB+ 磁盘？我也在一个有 100 个节点的集群上工作，但它有 5 PB 的存储空间
你是指划分HDFS数据还是计算资源？
计算资源

【解决方案1】：

在 hadoop 2 上有一个 HDFS Federation 的概念，它可以将文件系统命名空间划分为多个单独的命名节点，每个命名节点管理文件系统命名空间的一部分。

【讨论】：