如何将 pandas 数据框转换为具有 rdd 属性的 pyspark 数据框？

Question

现在我正在为我的课程做一个项目，并发现将 pandas dataframe 转换为 pyspark dataframe 的问题。 我已经生成了一个名为 data_org 的熊猫数据框，如下所示。 enter image description here

我想将其转换为 pyspark 数据帧以将其调整为 libsvm 格式。 所以我的代码是

from pyspark.sql import SQLContext  
spark_df = SQLContext.createDataFrame(data_org)

但是，它出错了。

TypeError: createDataFrame() 缺少 1 个必需的位置参数：'data'

我真的不知道该怎么办。我的python版本是3.5.2，pyspark版本是2.0.1。 我期待着您的回复。

Answer 1

首先将 sparkContext 传递给 SQLContext：

from pyspark import SparkContext
from pyspark.sql import SQLContext 
sc = SparkContext("local", "App Name")
sql = SQLContext(sc)

然后使用createDataFrame，如下所示：

spark_df = sql.createDataFrame(data_org)