【发布时间】:2017-04-13 07:54:31
【问题描述】:
我正在使用 Apache flink 进行流式传输。我正在通过 flink 将来自 Apache Kafka 的数据作为流获取,并进行一些处理并将结果流保存在 Azure 数据湖中。flink 中是否有任何连接器可以将流数据转储到Azure 数据湖?
【问题讨论】:
标签: azure apache-kafka apache-flink azure-data-lake
我正在使用 Apache flink 进行流式传输。我正在通过 flink 将来自 Apache Kafka 的数据作为流获取,并进行一些处理并将结果流保存在 Azure 数据湖中。flink 中是否有任何连接器可以将流数据转储到Azure 数据湖?
【问题讨论】:
标签: azure apache-kafka apache-flink azure-data-lake
Flink 支持所有实现 org.apache.hadoop.fs.FileSystem 的文件系统,如下所述:https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html。
因此,您应该能够将其设置为将数据输出到 Azure Data Lake Store。这是一个展示如何将 Hadoop 连接到 Azure Data Lake Store 的博客。理论上,同样的方法应该适用于 Flink。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4
【讨论】: