在 Spark 中加入可能为空的数据帧答案

【问题标题】：Joining Potentially Empty Data Frames in Spark在 Spark 中加入可能为空的数据帧
【发布时间】：2017-10-16 15:19:28
【问题描述】：

我有四个来自四个 csv 的数据帧，用于加入 Spark 中的一个最终数据帧，所有数据帧都具有设置的模式。但是，有时只有 1-3 个数据帧通过，但它们仍将连接到最终数据帧中，缺失/空数据帧中的缺失值为 null。这样做的最佳方法是什么？我尝试进行外部联接，但问题是我无法加入空数据帧。

【问题讨论】：

【解决方案1】：

您可以通过以下方式检查数据框是否为空 df.rdd.isEmpty

如果你发现它是空的，做一个左外连接

【讨论】：