【问题标题】:Apache Zeppelin - Set default interpreterApache Zeppelin - 设置默认解释器
【发布时间】:2016-02-23 09:30:53
【问题描述】:

在 Zeppelin 中,我必须在每一行都提供解释器。有没有办法为整个会话设置解释器。

%pyspark 

import re

耗时 0 秒。


import pandas as pd

控制台:1:错误:'.'预期但找到标识符。将熊猫导入为 pd


%pyspark

import pandas as pd

耗时 0 秒。


如何设置整个会话的解释器?

【问题讨论】:

    标签: apache-zeppelin


    【解决方案1】:

    Spark Interpreter 组目前有 4 个解释器,如下所示...

    https://zeppelin.incubator.apache.org/docs/0.5.0-incubating/interpreter/spark.html

    默认解释器是%spark,默认解释器是根据zeppelin-site.xml配置文件中zeppelin.interpreters属性中列出的解释器顺序选择的。

    您的 zeppelin-site.xml(zeppelin.interpreters 属性)中的当前解释器顺序将是这个......

    org.apache.zeppelin.spark.SparkInterpreter,org.apache.zeppelin.spark.PySparkInterpreter
    

    修改为 ...

    org.apache.zeppelin.spark.PySparkInterpreter, org.apache.zeppelin.spark.SparkInterpreter
    

    然后重启 Zeppelin (zeppelin-daemon.sh restart)

    这将使%pyspark 成为默认解释器。

    谢谢

    【讨论】:

    • 在 Zeppelin 0.6.2 中仍然如此吗?按照您上面的建议更改了顺序,但在 UI 中的解释器设置列表中,spark 仍然排在第一位,并且 Spark 保持默认..
    • 有什么方法可以在不修改任何配置文件的情况下做到这一点?
    【解决方案2】:

    上述答案不适用于最近的 Zeppelin 版本。

    要设置默认解释器,请检查 /etc/zeppelin/conf/interpreter.json 并查找类似的内容:

    ...
    {
      "name": "spark",
      "class": "org.apache.zeppelin.spark.SparkInterpreter",
      "defaultInterpreter": true,
      "editor": {
        "language": "scala",
        "editOnDblClick": false
      }
    },
    ...
    {
      "name": "pyspark",
      "class": "org.apache.zeppelin.spark.PySparkInterpreter",
      "defaultInterpreter": false,
      "editor": {
        "language": "python",
        "editOnDblClick": false
      }
    }
    

    现在一切似乎都是微不足道的。我们只需要将sparkdefaultInterpreter改为false,将pysparkdefaultInterpreter改为true即可。

    然后重新启动 zeppelin (sudo stop zeppelin; sudo start zeppelin)。

    【讨论】:

      【解决方案3】:

      即使是 Fishball 对最近 Zeppelin 的回答也似乎过时了。我的 conf/interpreter.json 默认带有 spark ("defaultInterpreter": true) 而不是 python/pyspark ("defaultInterpreter": false),但 Zeppelin 默认选择了 python/pyspark。在我的情况下,我想要 pyspark 上的火花。

      解决方案是在 Zeppelin Web 控制台的 interpreter binding 部分中拖放解释器。

      【讨论】:

        【解决方案4】:

        conf/zeppelin-site.xml 中的zeppelin.interpreter.group.defaultspark 更改为您想使用的任何解释器。

        【讨论】:

        • 您的答案可以通过额外的支持信息得到改进。请edit 添加更多详细信息,例如引用或文档,以便其他人可以确认您的答案是正确的。你可以找到更多关于如何写好答案的信息in the help center
        猜你喜欢
        • 2018-02-13
        • 1970-01-01
        • 2017-07-15
        • 2017-08-18
        • 2013-11-09
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多