在 Azure 数据工厂中提取数据时是否需要存储（某种形式的）答案

【问题标题】：Do I need a storage (of some sort) when pulling data in Azure Data factory在 Azure 数据工厂中提取数据时是否需要存储（某种形式的）
【发布时间】：2020-05-18 05:58:06
【问题描述】：

*这里是数据新手*

目前，为了对从 Dynamics 365 提取的数据运行分析报告，我使用 Power BI。问题是，Power BI 处理大数据的速度非常慢。我执行了许多转换步骤（例如合并、连接、删除或重命名列等）。因此，当我尝试使用上述步骤在 Power BI 中运行查询时，需要很长时间才能完成。

因此，作为解决方案，我决定使用 Azure 数据工厂 (ADF)。该计划是使用 ADF 从 CRM（即 Dynamics 365）中提取数据，执行转换并发布数据。然后我将使用 Power BI 进行可视化分析。

我的问题是：除了数据工厂，我还需要什么 Azure 服务？我是否需要将我从 CRM 中提取的数据存储在某个地方 - 例如 Azure Data Lake 或 Blob 存储？或者我可以在提取数据后立即进行转换吗？

最初，我认为我可以使用“复制”活动从 CRM 中提取数据并开始使用这些数据。但是使用复制活动，我需要提供一个接收器（数据的目的地。它必须是某种存储）。我还想，我可以利用“查找”活动。我尝试使用它，但出现错误（不产生异常消息）。

我已经在 Internet 上搜索了类似的过程（即 Dynamics 365 -> Data Factory -> Power BI），但我找不到任何一个。

然而，我见过的大多数过程在数据摄取后立即使用某种数据存储。

欢迎所有回复。即使你相信我的做法是错误的。谢谢。

【问题讨论】：

标签： azure-data-factory azure-data-factory-2

【解决方案1】：

这里有几件事：

复制活动只是将数据从源移动到接收器。它不会即时修改它。
查找活动只是为了查找一些属性，以便稍后在同一管道上使用。
ADF 无法将数据集发布到 power bi（尽管它可能能够推送到流数据集）。

您的方法是正确的，但您需要转换数据的最后一步。您在这里有很多选择，但由于您已经熟悉 Power Bi，您可以使用 Wrangling Dataflows，它允许您从数据湖中获取文件，应用一些电源查询并在湖中保存一个新文件。您还可以使用映射数据流、databricks 或任何其他数据转换工具。

最后，您可以使用 Power Bi 从数据湖中提取文件，以使用此新文件中的数据制作报告。

当然，与往常一样，在 Azure 中，有很多方法可以解决问题或架构服务，这是我认为对您来说更简单的一种。

希望这有帮助！

【讨论】：