使用 Azure 数据工厂从 Azure Data Lake 主题中提取第一个最后修改日期答案

【问题标题】：Extract the very first last modified date from Azure Data Lake topic using Azure Data factory使用 Azure 数据工厂从 Azure Data Lake 主题中提取第一个最后修改日期
【发布时间】：2021-12-11 19:09:35
【问题描述】：

Azure 数据工厂中是否有任何方法可以从 Azure Data Lake 获取第一个最后修改日期。文件名可以是任何东西。我需要数据湖主题中上传的第一个文件的最后修改日期。

例如：

+----------+------------------+
| Filename | LastModifiedDate |
+----------+------------------+
| File1    | 2021-10-01       |
| File2    | 2021-10-02       |
| File1    | 2021-10-03       |
+----------+------------------+

预计产量：2021-10-01

任何帮助将不胜感激。问候，桑迪普

【问题讨论】：

Azure Data Lake 可以包含多个容器。您想从特定容器中检索上次修改日期，还是全部检索？

标签： azure-data-factory-2 azure-data-lake-gen2

【解决方案1】：

您可以使用Get-Metadata Activity 浏览数据湖中的每个文件夹，就像在MSFT Forum 上的存档问题中所做的那样。

根据文件夹和文件的数量，检索数据湖中任何文件的最早日期是一种相当暴力的方法。

我发现使用 PowerShell 更容易；

$storageAccount = 'storageAccountName';
$resourceGroupName = 'resourceGroupName';
$storageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $storageAccount | Select-Object -Property Value -First 1).Value
$context = New-AzStorageContext -StorageAccountName $storageAccount -StorageAccountKey $storageAccountKey
$allblobs = Get-AzStorageBlob -Container $containername -Context $context 
$allblobs | Sort-Object -Property LastModified | Select-Object -Property Name,LastModified -First 1

此 PowerShell 脚本返回具有最早 LastModified 值的文件的名称和 LastModified 日期时间。但是，直接使用 ADF 运行 PowerShell 脚本并不是那么简单。以下是an article by Bob Blackburn 的实现方法。

【讨论】：

谢谢。我希望这能解决我的问题。