Azure 数据工厂 - 将 Application Insights 日志加载到 Data Lake Gen 2答案

【问题标题】：Azure Data Factory - load Application Insights logs to Data Lake Gen 2Azure 数据工厂 - 将 Application Insights 日志加载到 Data Lake Gen 2
【发布时间】：2021-05-06 22:48:26
【问题描述】：

我为 Application Insights 配置了三个月的日志保留期，我想使用数据工厂管道（每天安排）将它们加载到 Data Lake Gen 2 存储。这样做的目的是在保留期过后不丢失数据，并将数据存储起来以供将来使用 - 主要是机器学习和报告。

我正在尝试从 Data Lake Gen 2 中提供的多种格式中决定使用什么格式来存储这些数据，因此如果有人有类似的设计，任何信息或文档参考将不胜感激。

【问题讨论】：

标签： azure-data-factory-2 azure-data-lake-gen2

【解决方案1】：

根据我的经验，大多数日志文件格式是.log 文件。如果我们想保留文件类型并将它们移动到 Data Lake Gen 2，请使用Binary format。

二进制格式可以帮助您将所有文件夹/子文件夹和所有文件移动到其他目的地。

HTH。

【讨论】：

谢谢 Leon，但 App Insights 会返回一个 JSON 文件。现在，我将 App Insights 数据作为每日 JSON 文件加载到 {AppInsights_Container}\{entity}\{year}\{Month}\{entity}_{yyyy_mm_dd}.JSON 结构中，每天导出 JSON 文件。我仍然对更好的方法持开放态度 - Data Lake Gen 2 有很多功能，所以我认为很容易错过最佳实施案例。
@Maus，我明白了。由于 App Insights 返回 JSON 文件，因此 JSON 格式是首选。但是使用二进制格式可以帮助您将所有文件夹/子文件夹和所有文件移动到 Data Lake Gen 2。我认为关键是 Data Factory 不能做到 Data Lake Gen 2 中的功能
嗨@Maus，您还有其他顾虑吗？