【问题标题】:Why doesn't DoFnTester support outputs in finishBundle() any more?为什么 DoFnTester 不再支持 finishBundle() 中的输出?
【发布时间】:2017-01-19 18:11:32
【问题描述】:

我们有一些函数可以批量处理捆绑包中的元素。他们需要在 finishBundle() 方法中输出最后一批。

类似于this previous question 的回答中描述的内容。

在基于 Beam 0.4.0 的最新 Dataflow 2.0.0-beta1 版本中,如果被测函数调用上下文中的输出方法,DoFnTester 会从其 finishBundle() 方法中抛出 UnsupportedOperationException。

这种行为改变有什么原因吗?运行时不再支持 DoFn.finishBundle() 的输出吗?

【问题讨论】:

    标签: google-cloud-dataflow apache-beam


    【解决方案1】:

    这是 DoFnTester 中的回归。我已经提交了一个针对 Beam here

    的错误

    【讨论】:

    • 谢谢你的帮助,丹尼尔。
    • 事实上,除了全局窗口化的测试数据外,它从来没有正常工作过。
    猜你喜欢
    • 2016-12-07
    • 1970-01-01
    • 2020-07-08
    • 2020-09-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-12
    • 2012-07-31
    相关资源
    最近更新 更多