Apache Spark：如何仅从数据库中提取常见记录到集群

Question

假设我的集群中有“10 万条记录”，而数据库（例如：MySql）中有“1 亿条记录”。

如何在不将整个 1 亿条记录物理移动到集群中的情况下，仅将这两个数据集之间的共同记录放入“dataFrame”或“RDD”中？

这些“1 亿条记录”可能每天都在增加。所以只是为了将它与“100k”的小数据集进行比较，我不想从数据库中移动整个大数据集。

“mapPartitions”在这里有什么作用吗？

Answer 1

我建议遵循以下流程。

1. 使用 spark jdbc 将 100k 记录表导出到 RDBMS 暂存表
2. 使用 spark jdbc 将数据导入回来，对于 spark jdbc 发送连接查询。
   • 有了这个approch数据库引擎本身过滤数据，将只发送常见的记录。 - 但是，SQL 引擎等数据源能够进行更多的预处理，例如评估聚合。这是有益的，因为它会减少从源传输到 Spark 的数据量。现有接口不允许在源中进行此类处理。 https://issues.apache.org/jira/browse/SPARK-12449
   • https://issues.apache.org/jira/browse/SPARK-20259