边缘节点 hortonworks 使用

Question

我有一个配置了 HA 的 6 个节点（2 个主节点 + 4 个从节点）生产集群。

实际拓扑是：

• 大师1：

  • 活动 HBase 主机
  • Hive 元存储
  • HiveServer2
  • HST 服务器
  • 诺克斯网关
  • 活动名称节点
  • Oozie 服务器
  • 活动资源管理器
  • WebHCat 服务器
  • ZooKeeper 服务器
  • HST 代理
  • 期刊节点
  • 指标监控

• 大师2：

  • 应用时间线服务器
  • 备用HBase Master​​
  • 历史服务器
  • Infra Solr 实例
  • 指标收集器
  • 格拉法纳
  • 备用名称节点
  • 备用资源管理器
  • Spark2 历史服务器
  • 齐柏林笔记本
  • ZooKeeper 服务器
  • HST 代理
  • 期刊节点
  • 指标监控
  • 客户

• 奴隶 1/2/3：

  • 数据节点
  • 区域服务器
  • HST 代理
  • 节点管理器

  • 指标监控

  • 其中一个从节点包含：JournalNode + Zookeeper Server

现在我们计划添加一些 Edge Node 。

我们的计划是：

• SQL 边缘节点：
  • HC 目录
  • HiveServer2
  • WebHCat
• 管理边缘节点
  • Ambari 服务器
  • 游侠
• 沿袭边缘节点
  • 工作历史服务器
  • Spark2 历史服务器
  • 应用时间线服务器
  • 滑块注册表服务器
• 最终用户访问边缘节点
  • 色相
• 诺克斯边缘节点
  • 诺克斯网关
• 调度边缘节点
  • Oozie 服务器
  • 猎鹰

你怎么看？

最佳做法是什么？

从主/从移动到边缘节点的组件是什么？

谢谢

Answer 1

边缘节点仅作为客户端。没有主人/奴隶。在使用 hdfs dfs -put 之前，除了磁盘空间之外的资源非常少，可能用于 SCP 文件

Knox 网关本身在某种程度上自我描述为一个安全的边缘节点，代理到集群中。取决于您是否实际使用它。

如果您不使用 HBase 和 Zeppelin，那么您可以将它们从集群中删除。如果您有可用资源，HBase 应该位于自己的专用服务器上

Zookeeper 也是如此——理想情况下，它们应该分开以获得最佳吞吐量。