【发布时间】:2021-08-14 21:41:34
【问题描述】:
我有一个数据框,我想根据列的数据类型执行转换。
根据列的数据类型,我想将其转换为 JSON 字符串。
我尝试使用when,否则似乎不起作用。
这就是我想要做的,
>>> dtype = df.dtypes[0][1]
>>> dtype
'string'
>>> df.withColumn('json_col', when(dtype=='string', 'value').otherwise(to_json('value')))
我得到了这个语句的以下错误
TypeError:条件应该是一个列
任何帮助都将不胜感激。
谢谢。
【问题讨论】:
标签: apache-spark pyspark apache-spark-sql