Apache Flink 有状态函数 python vs java 性能

Question

开发apache flink stateful function时使用python或java有什么优缺点。

• 有性能差异吗？对于相同的操作，哪一种效率更高？
• 我们可以完全在 python 上开发应用程序吗？
• 一种支持哪些功能，另一种不支持。

Answer 1

StateFun支持嵌入式函数和远程函数。

• 嵌入式函数捆绑并部署在运行 Flink 的 JVM 进程中。因此，它们必须以 JVM 语言（如 Java）实现，并且它们将是性能最高的。缺点是对功能代码的任何更改都需要重启 Flink 集群。

• 远程函数是在单独的进程中执行的函数，由 Flink 集群针对发给它们的每个传入消息调用。因此，预计它们的性能不如嵌入式函数，但它们在以下方面提供了很大的灵活性：

  • 选择实现语言
  • 快速放大和缩小
  • 出现故障时快速重启。
  • 滚动升级

我们可以完全在python上开发应用程序吗？

是否可以完全用 Python 开发应用程序，请参阅 python greeter example。

一种支持哪些不支持的功能。

当前功能目前仅支持Java SDK：

• 从入口到函数的更丰富的路由逻辑。您可以通过代码描述的任何路由逻辑。
• 像表格和缓冲区这样的状态类型很少。
• 将现有的 Flink 源和接收器公开为入口和出口。