【发布时间】:2017-07-11 10:31:17
【问题描述】:
我正在使用 flink 从 Azure 数据湖中读取数据。但是 flink 找不到 Azure 数据湖文件系统。我已经实现了 spark 来读取 Azure Data Lake 文件系统文件。
所以我正在尝试从 flink 触发 spark 以从 Azure Data Lake 读取数据并执行一些逻辑并将列表返回给 flink。那么 flink 可以使用这些数据吗?
是否可以从 flink 触发 spark 作业?或者如何配置 flink 以了解 Azure Data Lake 文件系统。有人可以指导我吗?
【问题讨论】:
-
嗨 Dhinesh,难道不能使用同样的机制让您通过 Flink 从 Spark 从 ADLS 读取数据吗? medium.com/azure-data-lake/…
-
@Amit Kulkarni。感谢您的指导,现在我已经配置了 flink 来了解 Azure datalake 文件系统。
-
太棒了。在这种情况下,请将以下标记为答案。
标签: apache-spark apache-flink azure-data-lake