Pyspark - 从增量配置单元表中定期读取

Question

我正在使用 pyspark 开发一个用例。 我的 pyspark 作业应该定期从 Hive 表中读取，并在其上应用一些聚合和转换。 但是我每次都无法阅读完整的表格，因为我需要将输出附加到另一个表格中。任何人都可以提出任何想法。我正在考虑的一种方法是在每个进程之后跟踪配置单元表的 rowId 或 rownum。 Ps：这不是流式用例

注意：我是 spark 新手。

谢谢， 阿尔宾

Answer 1

让我们分解问题。

1. 创建两张表来替换现有的一张：
   1. 创建一个基表和一个增量表。
2. 创建一个合并两个表的视图。 （用于为您提供截至“现在”的所有数据的完整视图。排除 “处理”视图中标记的数据。稍后我会解释原因。）
3. 添加数据时，它会添加到增量表中。
4. 何时开始处理数据：将增量表中的数据标记为“正在处理”
5. 将“处理”数据复制到基表，并完成对聚合的任何所需处理/更新。
6. 完成计算后，从增量表中删除“处理中”数据。

希望现在您可以从“现在”视图中排除标有“正在处理”的数据的原因。