【问题标题】:How to save streaming data to Azure data lake?如何将流数据保存到 Azure 数据湖?
【发布时间】:2017-04-13 07:54:31
【问题描述】:

我正在使用 Apache flink 进行流式传输。我正在通过 flink 将来自 Apache Kafka 的数据作为流获取,并进行一些处理并将结果流保存在 Azure 数据湖中。flink 中是否有任何连接器可以将流数据转储到Azure 数据湖?

【问题讨论】:

    标签: azure apache-kafka apache-flink azure-data-lake


    【解决方案1】:

    Flink 支持所有实现 org.apache.hadoop.fs.FileSystem 的文件系统,如下所述:https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html

    因此,您应该能够将其设置为将数据输出到 Azure Data Lake Store。这是一个展示如何将 Hadoop 连接到 Azure Data Lake Store 的博客。理论上,同样的方法应该适用于 Flink。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-08-21
      • 2021-05-28
      • 1970-01-01
      • 1970-01-01
      • 2019-04-22
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多