在 Spark 自定义接收器中同步

Question

致力于将 Spark Streaming 与 Amazon SQS 集成。在 SQS 中，一旦收到消息，必须“删除”以标记为“已确认”。但我的问题是，如果我创建一个 Spark 自定义接收器，那么 Spark 将在许多节点上触发接收器的许多实例，对吗？但是每个接收者都可能收到相同的消息，不是吗？我该如何防止呢？简单地在我的接收器中使用“同步”部分并不能解决这个问题，对吗？

任何指针将不胜感激。

Answer 1

经过进一步研究，Spark 内部似乎不会触发更多接收器实例。它只会启动一个接收器。