【问题标题】:AWS KCL checkpoint update behavior on FARGATEFARGATE 上的 AWS KCL 检查点更新行为
【发布时间】:2019-02-24 12:50:30
【问题描述】:

我在 FARGATE 上部署了一个 KCL (2.0/Java),可以读取多个分片。不幸的是,我现在遇到两个问题,希望有人可以帮助我:

  1. FARGATE 不允许正常关闭 JVM。
  2. 自 1. 起,DynamoDB 上的 LeaseTable 中的检查点值未更新。 KCL 应用程序的新实例将重新处理给定分片中的所有事件。

关于 1,我已经发现在使用 FARGATE SIGTERM 之后存在一些日志记录问题,但由于分片检查点未更新,我认为存在避免运行关闭例程的一般问题。

如果,对于 2,有人知道是否有可能“手动”更新检查点值,例如每 5 分钟一次,这至少会减少重复处理事件的数量。

GENERALIZATION:KCL 何时(关闭期间除外)更新租用表?

谢谢,gapvision

【问题讨论】:

    标签: amazon-web-services aws-sdk amazon-ecs amazon-kinesis aws-fargate


    【解决方案1】:

    原来如此

    1) 实际上是一个 docker “问题”,并指向 ENTRYPOINT 模式:SIGTERM not received by java process using 'docker stop' and the official java image

    2) 是手动过程,没有内部触发检查点更新。需要显式调用checkpoint() 方法来更新指针

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-11-27
      • 1970-01-01
      • 2019-10-29
      • 2021-06-13
      • 2022-01-02
      • 1970-01-01
      • 1970-01-01
      • 2016-03-16
      相关资源
      最近更新 更多