在 SparkR 中合并两列

Question

在 SparkR 中合并两列的简单方法是什么？考虑关注 Spark DF：

salary_from  salary_to  position
1500         null       a
null         1300       b
800          1000       c

我想将salary 列与这样的逻辑结合起来。从salary_from 和salary_to 中取一个不为空的值，如果两者都存在，则取一个中间的值。

salary_from  salary_to  position  salary
1500         null       a         1500
null         1300       b         1300
800          1000       c         900

有没有办法遍历每一行并应用我的逻辑，就像我在 R 中使用 apply 方法一样？

Answer 1

你可以使用coalesce函数：

withColumn(
  sdf, "salary",
  expr("coalesce((salary_from + salary_to) / 2, salary_from, salary_to)")
)

返回第一个非空表达式。