【问题标题】:AttributeError: 'SQLContext' object has no attribute 'jsonFile'AttributeError:“SQLContext”对象没有属性“jsonFile”
【发布时间】:2017-05-24 09:25:15
【问题描述】:

当我执行以下操作时。我在 centos 7.0 和 spark 2.1.0 中遇到了这个问题。我是火花的大一新生。如何解决?

>>> from pyspark.sql import SQLContext
>>> ssc = SQLContext(sc)
>>> df = ssc.jsonFile('file:///root/work/person.json')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'jsonFile'

【问题讨论】:

  • SQLContext.jsonFile() 已弃用,您应该尝试SQLContext.read.json()
  • 是的。但是我遇到了另一个问题.... >>> df = sqlContext.read.json('file:///root/work/person.json') pyspark.sql.utils .AnalysisException: u'路径不存在:file:/root/work/person.json;'
  • 我的路径不对? [root@localhost word]# ls person.json person.txt [root@localhost word]# pwd /root/word
  • 然后检查你的路径
  • 哈哈。非常感谢!这是我的错。

标签: apache-spark pyspark


【解决方案1】:

SparkSession 与较新版本的 Spark 一起使用,并使用 df = spark.read.json('path to json).

【讨论】:

    【解决方案2】:

    jsonFile 已弃用,请使用 sqlContext.read.json

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-12-01
      • 2021-04-19
      • 2021-11-22
      • 1970-01-01
      • 1970-01-01
      • 2018-08-28
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多