【发布时间】:2020-11-16 14:02:23
【问题描述】:
是否可以使用 pyflink 将处理后的流数据下沉到数据库中?所有写入处理数据的方法都仅限于以 txt、csv 或 Json 格式保存,无法使用数据库接收数据。
【问题讨论】:
-
对于 Java,您可以使用 JDBC 连接器:ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/…。我不确定python,您可以使用Python的数据流API(flink.apache.org/2020/04/09/pyflink-udf-support-flink.html)并尝试实现您的接收器。
-
能否分享一个实现自定义接收器的解决方案?
-
我从未使用 Python API 与 Flink 合作过,但我会开始使用作为接收器的
write_to_socket()(ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/…)。我不确定您使用的是哪个版本,以及您的版本是否更改了此方法。
标签: python apache-flink flink-streaming pyflink