使用 pyspark 在 Spark Streaming 中的 to.JSON()

Question

我使用toJSON()方法在spark Streaming的transform()函数中将DataFrame转换为RDD of json文档。

我正在使用pyspark 进行如下编码：

def process(rdd):
  rddDataframe = sqlContext.createDataFrame(rdd)
  rddback = rddDataFrame.toJSON()
return rdd

dstream_test = dstream_in.transform(lambda rdd: process(rdd))

但我收到以下错误：

 UnpicklingError: invalid load key, '{'

请帮我解决这个问题。

Answer 1

不要将 rdd 传递给函数，将函数传递给你的 rdd。

为每一行定义你的转换，然后发送它

def transform(row):
    ....

your_rdd = your_rdd.map(transform)