如何访问pyspark数据框中的动态列

Question

我是 pyspark 的新手。我有一个数组中的列列表，如下所示。

input_vars = [
'column1',
'column2',    
'column3',
'column4'
]

现在我想使用数据框执行以下操作。

for var in input_vars:
    print(df.var.isNotNull())

但是当我尝试执行上面的代码时出现以下错误

AttributeError: 'DataFrame' object has no attribute 'var'

编辑

我已经按照 'ernest_k' 给出的建议尝试了 df[var].isNotNull() 并且上述错误得到了解决。现在我的实际要求是将下面的 pandas 数据帧代码重写为 pyspark 数据帧。

for var in input_vars:
    bindt = df2[df2[var].notnull()][var].quantile([0,.1,.2,.3,.4,.5,.6,.7,.8,.9,1]).unique()

    q0 = df2[df2[var].notnull()][var].quantile(0)
    q1 = df2[df2[var].notnull()][var].quantile(0.25)
    q2 = df2[df2[var].notnull()][var].quantile(0.5)
    q3 = df2[df2[var].notnull()][var].quantile(0.75)
    q4 = df2[df2[var].notnull()][var].quantile(1)

任何人都可以帮助我如何实现上述要求。提前致谢。

Answer 1

要从 DataFrame 中获取列列表，请使用 df.columns 并从那里开始处理下一步。

在Spark 2.0+，你可以使用（我不是100%保证approxQuantile(var, [0.5], 0.25)满足你的要求，请改）

columns = df.columns

for var in input_vars:
    if var in columns:
        print(df.filter('{} is not null'.format(var)).approxQuantile(var, [0.5], 0.25))
    else:
        print('Column {} not found'.format(var))

更多详情，请优先approxQuantile