火花 SQL json 错误答案

【问题标题】：Spark SQL json error火花 SQL json 错误
【发布时间】：2016-08-26 23:55:22
【问题描述】：

我尝试使用 sql 上下文创建 jsonrdd，但出现以下错误..我已将代码和错误放在下面..请建议..

我的代码：

rdd1=sqlContext.jsonRDD('/idn/home/ijamalmo/ibfiles/datafiles/sampledata.json')

错误

Traceback（最近一次通话最后一次）：

文件“”，第 1 行，在

文件“/opt/mapr/spark/spark-1.4.1/python/pyspark/sql/context.py”, 第 442 行，在 jsonRDD 中
keyed = rdd.mapPartitions(func)
AttributeError: 'str' 对象没有属性 'mapPartitions'

【问题讨论】：

标签： json pyspark-sql

【解决方案1】：

jsonRDD 不是 pyspark 函数。你想要：

rdd1 = sqlContext.read.json('fileLoc').rdd

【讨论】：

sqlCon=SQLContext(sc) rdd1=sqlCon.jsonFile('smapledata.json') 此命令正在执行，没有任何错误。但是当我尝试打印模式或打印数据时，它会抛出错误 rdd1.printSchema() rdd1.collect() 请建议