【问题标题】:Why does Azure Stream Analytics outputs data to seperate files?为什么 Azure 流分析将数据输出到单独的文件?
【发布时间】:2017-11-21 22:54:08
【问题描述】:

为什么在使用 Azure Data Lake 或 Azure Blob Storage 时流分析会创建单独的文件?有时流在一个文件中运行数天,而其他时候每天都会制作几个新文件。好像比较随意?

我将数据输出到 CSV,查询保持不变,并且不时生成一个新文件。

我希望它有一个大的 CSV 文件,因为我希望能够使用 Power BI 对数据运行长期统计信息,但是当它们都是具有看似随机名称的单独文件时,这似乎是不可能的。

【问题讨论】:

    标签: azure azure-blob-storage powerbi azure-data-lake azure-stream-analytics


    【解决方案1】:

    https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-define-outputs - 此页面包含有关何时创建新文件的详细信息。在您的情况下,很可能是由于内部重启。

    【讨论】:

    • 感谢您的回复。看来确实如此。然而,在 Azure Data Lake 或 Blob Storage 中将数据作为一个整体处理使得这在 Power BI 中变得相当困难。如何在 Power BI 中将所有文件作为一个数据集接收?我认为这是不可能的。
    • 在 Power BI 中,您可以从“文件夹”导入数据并将所有数据文件组合在一起。
    • @JSAzure 你有这方面的例子或文档吗?如果是这样,我的问题就解决了:-)
    • 这是 Excel 文件的教程:它也适用于 CSV:powerbi.microsoft.com/en-us/blog/… 唯一的要求是 PowerBI 可以访问该文件夹。不过,我还没有直接尝试过使用 Blob 容器。
    • 谢谢!我似乎让它运行起来。我使用了您的链接和以下链接的组合:dutchdatadude.com/loading-multiple-json-files-using-power-query
    猜你喜欢
    • 1970-01-01
    • 2018-12-26
    • 1970-01-01
    • 2019-06-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-08-03
    • 1970-01-01
    相关资源
    最近更新 更多