【问题标题】:How perform transformation based on a condition?如何根据条件执行转换?
【发布时间】:2021-08-14 21:41:34
【问题描述】:

我有一个数据框,我想根据列的数据类型执行转换。

根据列的数据类型,我想将其转换为 JSON 字符串。

我尝试使用when,否则似乎不起作用。

这就是我想要做的,

>>> dtype = df.dtypes[0][1]
>>> dtype
'string'
>>> df.withColumn('json_col', when(dtype=='string', 'value').otherwise(to_json('value')))

我得到了这个语句的以下错误

TypeError:条件应该是一个列

任何帮助都将不胜感激。

谢谢。

【问题讨论】:

    标签: apache-spark pyspark apache-spark-sql


    【解决方案1】:

    在这种情况下使用if

    df2 = df.withColumn('json_col', col('value') if dtype=='string' else to_json('value'))
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-01-13
      • 1970-01-01
      • 1970-01-01
      • 2018-12-25
      • 1970-01-01
      • 1970-01-01
      • 2017-05-29
      • 1970-01-01
      相关资源
      最近更新 更多