【问题标题】:Accessing kerberized WebHDFS on Cloudera from Knox从 Knox 访问 Cloudera 上的 kerberized WebHDFS
【发布时间】:2018-06-22 02:37:45
【问题描述】:

我一直在尝试让 Apache Knox 在 Kerberized Cloudera 集群上工作。我下载了包含 Knox 的 zip 并安装了它。我还在 sandbox.xml 文件上对我的集群进行了特定的更改。但是,当我运行 cURL 命令时,我得到 404 not found 错误。有人成功地管理了 Knox 吗?如果是,请协助

【问题讨论】:

  • 请分享 curl 命令以确保完整性

标签: cloudera-cdh webhdfs knox-gateway


【解决方案1】:

您可以查看 Knox 文档here,了解有关 Knox 支持的 WebHdfs 服务的详细信息。

回到您的 404 问题,这意味着 Knox 找不到您的服务,这很可能是因为

  1. 您的拓扑文件中缺少服务定义(看起来 就像你添加的一样)
  2. 使用的服务 url 返回 404。

还要确保您已启用 WebHdfs 服务,并且它已在您希望它引用 cloudera documentation 的端口上启动并运行。 Knox 指南中列出的示例端口可能因您的安装而异。

如果您可以分享 Knox 日志,那将会很有帮助。 此外,请查看Secure Clusters,了解有关如何使用 kerberized 集群配置 Knox 的文档。

祝你好运!

【讨论】:

  • 您好 Sandeep,感谢您的意见。根据文档,所有必要的拓扑文件看起来都不错。此外,启用了 WebHDFS。 Knox 上的文档似乎不足以在非 HDP 集群上集成 AD + Kerberos,这让我很难让它工作。你有任何文档提到在 Cloudera 集群上的安装吗?
  • Knox 文档应该适用于任何 Hadoop 发行版,安全集群的文档 - knox.apache.org/books/knox-1-0-0/… 应该足以使用 Kerberized Hadoop 集群设置 Knox。您能否分享 Knox 日志(gateway.log),这将帮助我们追踪问题,无论是设置还是服务等。您可以在此处或 Knox 邮件列表中分享日志 sn-p。此外,如果您看到 Knox 文档针对特定发行版,您可以打开 JIRA 以便我们进行纠正。
  • 嗨 Sandeep,附件是 gateway.log。如果您发现值得尝试的东西,请告诉我。谢谢:
  • 嗨 Sandeep,附件是 gateway.log。如果您发现值得尝试的东西,请告诉我。2018-06-25 12:55:51,797 错误 knox.gateway (GatewayServer.java:handleCreateDeployment(922)) - 无法部署拓扑 azlchdedwpoc0001: org.apache.knox.gateway。 deploy.DeploymentException:未能提供提供者。作用:身份验证名称:kerberos。请检查拓扑是否存在名称和角色错误以及提供程序是否在类路径中。
  • 嗨,Sandeep,我能够解决这个问题。我已经设置了在 Kerberised Cloudera 集群上运行的 Knox。任何寻求帮助的人都可以告诉我。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2016-01-16
  • 2015-06-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-08-08
  • 1970-01-01
相关资源
最近更新 更多