【问题标题】:Best way to process raw CDN logs stored in Azure Blob Storage to an Azure SQL Database将存储在 Azure Blob 存储中的原始 CDN 日志处理到 Azure SQL 数据库的最佳方式
【发布时间】:2021-06-27 08:15:23
【问题描述】:

我有一个 Azure CDN,我的所有 原始日志(向 CDN 发出的每个请求)都转到我的 Azure Blob 存储,格式为“JSON 行”。 (这些是 AzureCdnAccessLog)

我希望处理这些日志(每 10-20 分钟)以计算每个资源被访问的次数、何时以及从哪个平台等...并将结果输出到我的 Azure SQL 数据库

在 Azure 上批处理这些日志的最佳解决方案是什么?

提前感谢您的回答。

【问题讨论】:

    标签: azure azure-sql-database azure-storage


    【解决方案1】:

    听起来Azure function Blob storage trigger 是最佳人选。但请记住,azure 函数对 how long it can run 有限制

    [FunctionName("BlobTriggerCSharp")]        
    public static void Run([BlobTrigger("container/{name}")] Stream myBlob, string name, ILogger log)
    {
        log.LogInformation($"C# Blob trigger function Processed blob\n Name:{name} \n Size: {myBlob.Length} Bytes");
    }
    

    另一个选项是Azure Data Factory,这里是more information关于如何从blob导入

    【讨论】:

    • 我考虑过这个解决方案,但正如你提到的,如果我的数据集很大,我将达到限制(这很可能发生在我们谈论来自 CDN 的原始日志时)。神奇的解决方案是与我的 Azure blob 存储集成的 Big Query 之类的东西,但我在 azure 上不知道类似的东西......
    • 谢谢,我会检查一下?
    猜你喜欢
    • 1970-01-01
    • 2016-09-12
    • 1970-01-01
    • 1970-01-01
    • 2011-09-24
    • 2018-04-13
    • 2021-01-26
    • 1970-01-01
    • 2018-01-11
    相关资源
    最近更新 更多