map 和 udf 的区别

Question

当我在 Spark 中使用 DataFrame 时，有时我必须只编辑该 DataFrame 中特定列的值。例如。如果我的数据框中有一个count 字段，并且如果我想将1 添加到count 的每个值中，那么我可以编写一个自定义udf 来使用withColumn 功能完成工作DataFrames，或者我可以在 DataFrame 上执行map，然后从生成的 RDD 中提取另一个 DataFrame。

我想知道 udf 在后台是如何工作的。在这种情况下，给我一个使用 map/udf 的比较。性能有何不同？

谢谢！

Answer 1

简单地说，map 比 udf 更灵活。使用map，您可以在一行中操作的列数没有限制。假设您要导出 5 列数据的值并删除 3 列。你需要做withColumn/udf 5 次，然后是select。使用 1 个map 函数，您可以完成所有这些操作。