配置 SnakeBite HDFS 客户端以使用高可用性模式

Question

我正在使用 snakebite 库从我的气流 dag 访问 HDFS。

我的 HDFS 集群已升级到高可用性模式。现在这意味着配置为仅指向一个名称节点的客户端将在该名称节点不是活动节点时失败。

我可以使用哪些策略来使高可用性模式具有高可用性？我可以将蛇咬客户端配置为故障转移到另一个节点吗？我可以使用某种负载均衡器将流量引导到正确的名称节点吗？

Answer 1

事实证明，Snakebite 对这个问题没有一个，而是两个解决方案：AutoConfigClient，它将从 hadoop 配置中获取其配置，以及HAClient，它获取两个名称节点。

就我而言，我实际上是通过气流使用蛇咬伤。事实证明，airflow 的 HDFSHook 足够智能，可以处理在一个连接中提供的两个名称节点，然后将使用 HAClient。