使用python对pyspark数据帧进行转置操作

Question

我是 python 和 pyspark 的新手，我使用 pandas df.T 完成了转置操作。我发现对pyspark数据框没有直接操作（pyspark版本= 2.2.0和python版本= 3.6.2）

我正在使用以下代码为上述操作加载一个 CSV 文件

from pyspark.sql import SQLContext sql = SQLContext(spark_context) path = 'sample.csv' df = (sql.read.format("com.databricks.spark.csv").option("header","true").option("inferSchema", "true").load(path))

Answer 1

您的数据架构是什么？

如果它是某种稀疏矩阵，您可以使用常规 RDD 加载并映射 + 交换您的坐标。