使用 Docker 容器实现 KCL

Question

我有一个用例，其中存在一个我不知道有多少分片的现有 Kinesis 流。但是，我必须创建一个消费应用程序，该应用程序将从分片中消费，而且我还必须对应用程序进行 Docker 化。

我正在查看此 docker 图像链接以执行相同操作：https://github.com/alexdebrie/kclpy

我的问题是，由于我不知道有多少分片，所以我只启动了一个包含我的消费者代码的容器。所以在现实中，如果我的 kinesis 有 5 个分片，而我只启动 1 个容器，KCL 将如何处理分配？

它会为每个分片创建进程或线程吗？无论哪种方式，docker 将如何处理多个进程/线程的创建？

谁能给我一些提示，因为我很新，无法从文档中学到很多东西。

提前致谢

Answer 1

KCL 自己处理多个分片的读取，它使用 dynamo db 来跟踪分片和 sequence_id。

您可以运行尽可能多的 KCL 进程实例，小于或等于分片数。