【发布时间】:2016-05-21 01:17:55
【问题描述】:
我正在考虑通过Azure Stream Analytics 实现以下场景。
我的输入包括:
- 从Azure Event Hub 传入的事件。
- 与事件相关的参考数据。其中一些数据每天都在“缓慢变化”。
我需要加入事件和参考数据,处理它们并输出将构成“数据仓库”的表(以Power BI 作为消费者)。
输出将由:
- 存储最重要事件的事实表。
- 一些维度表,其中包含构成事实的值。
Azure 流分析是否适合这种工作? 在我看来,ASA 非常适合将事件从事件中心流保存到事实表中。 但是,使维度表保持最新的额外工作(即定期添加新值)并不适合。
我的分析正确吗?我应该为我的项目切换到 Azure Data Factory 吗?
【问题讨论】:
-
流分析用于分析实时数据,不是 ETL。
-
谢谢@PanagiotisKanavos :)。想详细说明在我的场景中分析和转换之间的关键区别是什么?
-
就像任何 DQ、星型模式、报告数据库一样,分析是告诉你有多少 X 的东西。 ETL 是将数据加载到模式的内容。在这种特殊情况下,分析将告诉您一个窗口中有多少事件,或检测该窗口中的异常活动。虽然您可以使用分析 SQL 进行转换,但它非常繁琐(步骤是 CTE)且有限(最多 6 个)且成本高昂。 ETL 需要更多。
-
Urig,您能否分享一个假设但更具体的场景来反映您的需求?您是对的,ASA 非常适合在应用少量转换或聚合后从流中持久化事件。您可以结合使用 ASA 和 ADF,或者在某些情况下仅使用 ASA 来保持维度表的最新状态。
-
发送@PanagiotisKanavos。如果您愿意将您的评论升级为答案,我很乐意接受。
标签: azure fact azure-stream-analytics azure-data-factory cortana-intelligence