对 pcollection 元素进行排名

Question

我正在使用 Google DataFlow Java SDK 2.2.0。用例如下：

PCollection pEmployees：员工及对应部门名称。最多可包含 1000 万个元素。

PCollection pDepartments：部门名称和每个部门要发布的元素数量。将包含数百个元素。

任务：根据 pDepartments 中所有部门的部门编号从 pEmployees 中收集元素。这将是一个大集合（最多几十万个元素或几 GB）。

我们不能在此处使用 Top 转换，因为它会在 pEmployee 上一次工作一个，而我们有多个部门，而且在 PCollection 中也有。我们可以为 pEmployees 中的每个元素分配一个行号，将其与 pDepartments 连接，并从 pDepartments 中过滤 row_number > target number 的记录。这将需要一个全球排名。

问题：我们如何将排名/行号分配给 pcollection 中的元素？

Answer 1

这非常接近Sample 转换，但不完全是，因为当用作.perKey() 时，它对所有键应用相同的阈值。一般来说，Beam 目前不支持 per-key 组合不同的组合函数参数。

我建议通过使用CoGroupByKey 来模拟它，加入pEmployees 和pDepartments 并获取包含部门名称、N = 元素数和该部门所有员工的元组 (CoGbkResult)。然后简单地遍历员工并发出第一个 N 并丢弃其余的。