结构化流提取每个 id 的最新值答案

【问题标题】：Structured Streaming extract most recent values for each id结构化流提取每个 id 的最新值
【发布时间】：2019-02-10 21:44:03
【问题描述】：

我有包含 ID、类型和值的数据流：对于具有给定 ID 的一组用户，我从不同的传感器（输入）。传入数据示例：

ID type value
1  A    70
2  B    16
1  A    71
2  A    72

我需要创建 Spark Structured Streaming 应用程序，该应用程序将对获取的数据执行自定义集群。但是，我一开始就卡住了>我不知道如何创建一组数据，其中将包含每种类型的每个用户的最后测量值。我需要为系统中出现过的每个用户设置此设置。

因此，基本上，对于上述数据流，我需要一个结构化流式应用程序，它可以为我提供一组针对每种类型的每个用户的最后测量值>

  ID type value
  1  A    71
  2  B    16
  2  A    72

用户可能有一段时间不活跃，我仍然需要保留他们的记录。如果输出是数据框，这将很有用。

任何关于如何做到这一点的想法都将受到欢迎。

PS 我对 Spark Structured Streaming 还很陌生，如果这是一个微不足道的问题，我很抱歉。

【问题讨论】：

【解决方案1】：

简短的回答是：这不可能使用 Spark 结构化流式处理（目前）。

许多关于此的帖子都没有提出实际可行的解决方案。

仔细想想，实际上这是一项艰巨的任务。

我尝试了各种方法 - 即使我知道这是不可能的 - 并且总是从 Spark 中得到某种错误。这些都记录在 Stack Overflow 上。例如：

【讨论】：