加入流 Apache Spark

Question

我正在通过 TCP 连接器使用 Apache Spark Streaming 来接收数据。 我有一个连接到传感器的 python 应用程序，并创建一个等待来自 Apache Spark 的连接的 TCP 服务器，然后通过这个套接字发送 json 数据。

我怎样才能设法加入许多独立的传感器源以将数据发送到 Apache Spark 上的同一个接收器？

Answer 1

您似乎需要面向消息的中间件 (MOM) 或 kafka 集群来处理实时数据馈送。您的消息生产者可以发送到 kafka 主题，Spark 流可以从该 kafka 主题接收。这样你就可以解耦你的生产者和接收者。 Kafka 可以线性扩展，并将其与 Spark Streaming 结合使用，带有背压的 kafka-direct 流方法可以为您提供良好的故障转移弹性。 如果您选择另一个 MOM，您可以使用基于 spark 接收器的方法并联合多个流来扩展它