【发布时间】:2019-07-09 00:31:36
【问题描述】:
我最近将 HDP 从 2.6.5 升级到 3.1.0,它运行 YARN 3.1.0,我不能再使用旧的 (:8088/cluster/apps) 或新的从 YARN ResourceManager UI 中终止应用程序(:8088/ui2/index.html#/yarn-apps/apps) 版本。我仍然可以使用 RHEL 7 中的 shell 和 yarn app -kill {app-id}
杀死它们这些申请是通过 Livy 提交的。这是我的工作流程:
打开 ResourceManagerUI,打开 Application,点击 Settings 并选择 Kill Application。请注意,“登录身份:”设置为 UNKNOWN_USER:
确认我要终止应用程序:
我在 UI 中收到以下错误:
在 Chrome 中打开控制台,我看到 401(未经授权)错误。
如果我从旧 UI 中尝试此操作,我可以展开错误消息并显示以下内容:
{"RemoteException":{"exception":"AuthorizationException","message":"Unable to obtain user name, user not authenticated","javaClassName":"org.apache.hadoop.security.authorize.AuthorizationException"}}
我已经阅读了很多帖子,验证并更改了几个设置以尝试解决此问题,但没有成功。以下是我根据研究结果检查或更改的一些设置:
hadoop.http.filter.initializers=org.apache.hadoop.security.HttpCrossOriginFilterInitializer,org.apache.hadoop.http.lib.StaticUserWebFilter
hbase.security.authentication=simple
hbase.security.authorization=false
yarn.nodemanager.webapp.cross-origin.enabled=true
yarn.resourcemanager.webapp.cross-origin.enabled=true
yarn.resourcemanager.webapp.delegation-token-auth-filter.enabled=false
yarn.resourcemanager.webapp.ui-actions.enabled=true
yarn.timeline-service.http-authentication.simple.anonymous.allowed=true
yarn.timeline-service.http-authentication.type=simple
yarn.webapp.api-service.enable=true
yarn.webapp.ui2.enable=true
ranger.add-yarn-authorization=false
其中一些对我来说似乎有点离谱,比如 hbase 的东西,因为我认为这与我所看到的没有任何关系。但是,在其他情况下,某些用户对他们有用,所以我想尝试一下。
通过文档挖掘,您似乎需要在调用 API 之前进行身份验证。但是,相同的语言出现在 2.6.5 的文档中,这是我之前运行的 YARN 版本。
希望有人可以向我指出更清楚地概述了我可以做些什么来解决问题的文档。
提前致谢。
【问题讨论】:
-
新标签请求 - yarn-resourcemanager - 这将是有益的,因为当前的资源管理器标签正用于多个不同的资源管理器。
标签: hadoop spark-streaming hadoop-yarn resourcemanager