【问题标题】:Real-Time data streaming on Power BI from Cassandra database来自 Cassandra 数据库的 Power BI 上的实时数据流
【发布时间】:2021-06-03 20:49:51
【问题描述】:
在当前架构中,Power BI 数据集通过网关连接到 oracle 数据库,服务上的数据集按计划刷新。
但是,由于代码量大,表数据量大,oracle 的不一致,cline 正在寻求将整个架构更改为 Kafka 和 Cassandra 数据库,这将是实时数据。
所以,客户正在寻找 Power BI 上的实时数据,我们如何实现流式数据集,它应该连接到 Cassandra 数据库并将实时数据推送到仪表板..
谢谢!
【问题讨论】:
标签:
powershell
apache-kafka
cassandra
powerbi
real-time
【解决方案1】:
如果您有大量数据,那么 Power BI 流式数据集将不适合此类工作负载。请查看 Power BI 流数据集 here 的限制。您没有提到您需要哪些流式数据要求的用例,但流式数据集大小限制为 1 小时历史保留的 200,000 行,或具有保留策略的数据集的 5,000,000 行。
如果数据量足够低,您将不得不将数据从 Cassandra 发送到 Azure 事件中心,再发送到流分析到 Power BI。如果您的数据量很大,那么您需要将数据推送到可以处理流式传输的数据库,例如 Azure Databricks,然后在该数据上连接到 Power BI 或使用 Databricks 将其推送到数据库,以便 Power BI 可以使用直接查询方式,查询时获取最新数据。