Apache Beam - 随机数

Question

使用 apache Beam 生成随机数的推荐方法是什么，以便在重试处理条目时每个条目与相同的随机数相关联？

例如，要映射每个条目，我想以一种方式处理 90%，另一种方式处理 10%。如果工作人员崩溃并重新尝试处理，我需要确保指示处理条目的方式的随机数保持不变？

Answer 1

Apache Beam 中没有内置功能。但是，您可以编写一个 DoFn 来实现此用例所需的任何随机数生成。例如，DoFn 使用来自每个元素的一些唯一标识符（某种唯一但不会在重试时更改的 ID）并通过噪声函数运行它以获得与该元素相关联的随机值。