将 jupyter sparkmagic 内核连接到 kerberized livy 服务器的问题答案

【问题标题】：issue to connect jupyter sparkmagic kernel to kerberized livy server将 jupyter sparkmagic 内核连接到 kerberized livy 服务器的问题
【发布时间】：2019-09-03 11:48:06
【问题描述】：

如果您有任何想法，请提供帮助：我正在尝试将 kerberized Hortonworks hadoop 集群 livy 服务器与 jupyter 连接，连接时出现 401 错误

是否可以将 sparkmagic 连接到 kerberized spark livy 服务器？如果是，那么我认为我在 sparkmagic config json 中有一些错误配置。用户名和密码是在我登录 jupyterhub 时运行服务器并在 hadoop 集群（代理用户）中具有模拟权的技术用户，而不是实际用户名

它是我的 config.json 的一部分：

  "kernel_python_credentials" : {
    "username": "username",
    "password": "password",
    "url": "http://mylivy.server:8999",
    "auth": "Kerberos"
  }
  "logging_config": {
    "version": 1,
    "formatters": {
      "magicsFormatter": { 
        "format": "%(asctime)s\t%(levelname)s\t%(message)s",
        "datefmt": ""
      }
    },
    "handlers": {
      "magicsHandler": { 
        "class": "hdijupyterutils.filehandler.MagicsFileHandler",
        "formatter": "magicsFormatter",
        "home_path": "~/.sparkmagic"                                                                                                                                                   
      }                                                                                                                                                                                
    },                                                                                                                                                                                 
    "loggers": {                                                                                                                                                                       
      "magicsLogger": {                                                                                                                                                                
        "handlers": ["magicsHandler"],                                                                                                                                                 
        "level": "DEBUG",                                                                                                                                                              
        "propagate": 0                                                                                                                                                                 
      }                                                                                                                                                                                
    }                                                                                                                                                                                  
  },                                                                                                                                                                                   

  "wait_for_idle_timeout_seconds": 15,
  "livy_session_startup_timeout_seconds": 600,

.................................................. ..等等............

当我在 jupyter 中的 spark 或 pyspark notebook 或 shell 中尝试“hello world”时，这是错误消息：

print("Hello World")

代码因致命错误而失败：无效状态代码“401” 来自http://mylivy.server:8999/sessions，带有错误有效负载：错误 401

HTTP 错误：401

访问问题 /会话。原因：
 需要身份验证
由 Jetty:// 提供支持 9.3.24.v20180605
。
需要尝试的一些事情：a) 确保 Spark 有足够的可用资源让 Jupyter 创建 Spark 上下文。 b) 联系您的 Jupyter 管理员确保已配置 Spark 魔法库正确。 c) 重启内核。

【问题讨论】：

标签： pyspark jupyter kerberos livy

【解决方案1】：

（更新）我刚刚找到了错误发生的原因：问题是启动笔记本应用程序的系统上没有票，kinit命令解决了这个问题。附言在 config.json 中使用 kerberos 时也不需要用户名和密码

【讨论】：