Windows R 的 Kerberos 身份验证答案

【问题标题】：Kerberos authentication for Windows RWindows R 的 Kerberos 身份验证
【发布时间】：2017-05-08 14:31:25
【问题描述】：

我正在尝试使用 SparkR 包从 RStudio 桌面 (Windows) 连接我的 HDP 集群。

Spark 初始化失败，没有凭据错误消息，这似乎是因为缺少 kerberos 凭据。（可以在下面找到确切的错误消息）我已经有一个 kerberos 代码，但是发现 RStudio 桌面不支持 Kerberos 身份验证，而我需要的是 RStudio server pro。但是，看起来 RStudio server Pro 无法安装在 Windows 上。

如果我想坚持我当前的基于 Windows 的 R 和 RStudio 环境，有没有其他方法可以连接 Hadoop？

另外，核心 R 本身中是否有任何包（没有 RStudio）我可以用来对 Hadoop 集群进行身份验证？

看起来我可以在 Windows 上安装 Microsoft R，但它看起来不支持 Kerberos 身份验证？

sparkR.init(master = "yarn-client",appName = "sparkR", sparkHome = "C:/spark-1.6.2-bin-hadoop2.6",sparkEnvir = list(spark.driver.memory="2g"))

Error in invokeJava(isStatic = TRUE, className, methodName, ...) : 
  java.io.IOException: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "HostName/IPAddress"; destination host is: "HostName:PORT; 
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
    at org.apache.hadoop.ipc.Client.call(Client.java:1472)
    at org.apache.hadoop.ipc.Client.call(Client.java:1399)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
    at com.sun.proxy.$Proxy23.getClusterMetrics(Unknown Source)
    at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:202)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
    at sun.reflect.DelegatingMethod

【问题讨论】：

标签： r hadoop rstudio kerberos microsoft-r

【解决方案1】：

Windows 上的 Microsoft R Server 作为在 Hadoop 上运行的 Microsoft R Server 的客户端，确实支持 Kerberos 身份验证。它已经过 Cloudera、Hortonworks HDP 和 MapR 测试。

将 Microsoft R Server（客户端）上的计算上下文设置为 RxHadoopMR() 时，可以在 Hadoop 集群上远程执行 R 脚本，并且，只要所有节点都有有效的 Kerberos 票证，就应该全部设置好.

请参阅：https://msdn.microsoft.com/en-us/microsoft-r/rserver-install-hadoop 在 Hadoop 上安装 Microsoft R Server。

和：https://msdn.microsoft.com/en-us/microsoft-r/rserver-install-windows 用于在 Windows 上安装 Microsoft R Server。

【讨论】：