PyFlink 性能与 Scala 相比

Question

PyFlink 性能与 Flink + Scala 相比如何？

大图。 目标是使用冷热层构建 Lambda 架构。 冷（批处理）层将使用 Apache Spark (PySpark) 实现。 但是对于 Hot (Streaming) Tier，有不同的选择：Spark Streaming 或 Flink。

因此 Apache Flink 是纯流而不是 Spark 的微批处理，我倾向于选择 Apache Flink。 但我唯一担心的是 PyFlink 的性能。它会比 PySpark 流式传输具有更少的延迟吗？是不是比 Scala 写的 Flink 代码慢？在什么情况下它会变慢？

提前谢谢你！

Answer 1

我已经实现了一些非常相似的东西，根据我的经验，这些是一些事情

1. 作业的性能完全取决于您编写的代码类型，如果您在提取时使用一些用 python 编写的自定义 UDF 运行，那么性能将比使用基于 Scala 的相同操作慢代码 - 这主要是因为 python 对象到 JVM 的转换，反之亦然。但这会在您使用 Pyspark 时发生。
2. Flink 是真正的流式处理过程，如果您的用例确实需要真正的流式处理服务，Spark 中的微批处理并非如此，请继续使用 Flink。

如果您坚持使用 PyFlink 中提供的本机功能，您将不会观察到任何明显的性能差异。