【问题标题】:IBM Bluemix sc not definedIBM Bluemix sc 未定义
【发布时间】:2016-10-16 00:01:19
【问题描述】:

当我尝试运行为 IBM Bluemix 上的 Apache Spark 服务提供的示例之一时,我收到以下错误:

NameErrorTraceback (most recent call last)
<ipython-input-5-7de9805c358e> in <module>()
----> 1 set_hadoop_config(credentials_1)

<ipython-input-2-e790e4773aec> in set_hadoop_config(credentials)
      1 def set_hadoop_config(credentials):
      2     prefix = "fs.swift.service." + credentials['name']
----> 3     hconf = sc._jsc.hadoopConfiguration()
      4     hconf.set(prefix + ".auth.url", credentials['auth_url']+'/v3/auth/tokens')
      5     hconf.set(prefix + ".auth.endpoint.prefix", "endpoints")

NameError: global name 'sc' is not defined

我正在使用数据源面板上的插入到代码选项加载一个简单的 CSV 文件。但是,生成的凭据中没有“名称”属性。

credentials['name'] 不在我单击插入代码后生成的键值对中。

我想知道是否有任何其他方式来加载数据或这个问题是 IBM Bluemix 问题。

【问题讨论】:

    标签: apache-spark ibm-cloud


    【解决方案1】:

    您遇到了 Bluemix 问题。 sc 变量是默认定义的,包含一个 SparkContext。但是,如果在 Python notebook 内核启动时无法访问 Spark 主服务器,您会注意到几秒钟的延迟,然后内核启动但 sc 未定义。 您的 queston 已经存在两天了(是否缺少其中一个标签?),所以现在应该已经恢复了。再试一次。如果失败,请重新启动内核。如果您仍然没有收到 sc,请联系 Bluemix 支持以了解有关 Apache Spark 服务的问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-08-26
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-08-23
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多