如何从 Pyspark 的 DataFrame 中获取数字列并计算 z 分数

Question

sparkSession = SparkSession.builder.appName("example").getOrCreate()
df = sparkSession.read.json('hdfs://localhost/abc/zscore/')

我能够从 hdfs 读取数据，并且我想仅计算数字列的 zscore

Answer 1

您可以将 df 转换为 Pandas 并计算 zscore

sparkSession = SparkSession.builder.appName("example").getOrCreate()
df = sparkSession.read.json('hdfs://localhost/SmartRegression/zscore/').toPandas()
num_cols = df._get_numeric_data().columns
results = df[num_cols].apply(zscore)
print(results)

Answer 2

toPandas() 不适用于大数据集，因为它会尝试将整个数据集加载到驱动程序内存中。