如何通过 Azure Data Lake Store gen1 中的新文件触发 Azure Data Factory v2 或 Azure Databricks Notebook 中的管道

【问题标题】：How to trigger a pipeline in Azure Data Factory v2 or a Azure Databricks Notebook by a new file in Azure Data Lake Store gen1如何通过 Azure Data Lake Store gen1 中的新文件触发 Azure Data Factory v2 或 Azure Databricks Notebook 中的管道
【发布时间】：2018-08-19 16:50:39
【问题描述】：

我正在使用 Azure Data Lake Store gen1 来存储 JSON 文件。基于这些文件，我在 Azure Databricks 中有笔记本用于处理它们。现在我想在 Azure Data Lake Store gen1 中创建新文件时触发这样的 Azure Databricks Notebook。我找不到任何可以做到这一点的触发器。你知道吗？

【问题讨论】：

标签： azure azure-data-lake databricks azure-data-factory-2

【解决方案1】：

目前，Microsoft尚未实施/支持。但它在他们的路线图上（我相信）。

您可以通过两种方式做到这一点，

Azure Functions（通过事件网格）
逻辑应用

选项 #1

目前，微软正在 #1 的基础上构建。

您可以跟踪问题here。

按照这个

此功能目前对我们来说不是高优先级，但我会注意 Azure Event Grid 的公告将 Data Lake 列为其中之一他们正在构建的集成。一旦您可以订阅数据通过事件网格更新湖，运行 Azure 函数将是微不足道的（有关一些信息，请参见此处）。

您可以vote your voice支持DataLake中的事件网格（提供者）。

选项 #2

这个还没有实现，不过你可以Upvote your voice这里支持这个功能

【讨论】：