循环遍历 Azure 中的目录树结构

Question

我在 Azure Blob 存储中有大量 XML 文件。文件保存在树结构中。有一个名为 QA 的根目录，然后在 QA 中我们有多年的子目录 [例如：2015、2016]。 在每个 year 文件夹中，每个月都有子目录 [例如：01,02, 03 ... 12]。每个月里面都有每天的子目录。我在这些天文件夹中有这些 xml 文件。

我编写了一个代码来处理 xml 文件并将它们保存在同一位置，但我编写的代码仅在我显示文件所在的确切目录时才有效，它不会循环进入内部目录。如何让它循环遍历这些子目录和文件。

QA\2015\01\01\file1<datetimestamp>.xml
    -------01\file2<datetimestamp>.xml
    -------01\file3<datetimestamp>.xml
  ------\01\02\file1<datetimestamp>.xml
  ------\01\02\file2<datetimestamp>.xml
  ...
  ...
  ...
  ------\02\01\file1<datetimestamp>.xml
  ...
  ...
  ...
QA\2016\01\01\file1<datetimestamp>.xml
    -------01\file2<datetimestamp>.xml
    -------01\file3<datetimestamp>.xml
  ------\01\02\file1<datetimestamp>.xml
  ------\01\02\file2<datetimestamp>.xml
  ...
  ...
  ...
  ------\02\01\file1<datetimestamp>.xml

我正在寻找一些方法来实现类似的代码

for (year )
    {
        for (month)
            {
                for day
                    <My code goes here - pick the files scrub unnecessary data and save as a new file in same location>
                     --- Now I need to fiigure out how to save in same location as well
            }
    }

另外，这对我不起作用：var blobs = container.ListBlobs(prefix: "container-directory", useFlatBlobListing: true); 因为我没有列出。我想转到每个目录并处理文件

我的代码：除了错误什么也得不到

     CloudBlobClient bc = sa.CreateCloudBlobClient();

    // Get a reference to the container
    CloudBlobContainer container = bc.GetContainerReference(ContainerNameStr);

    var blobs = bc.ListBlobs(prefix: InitialLocDir, useFlatBlobListing: true, blobListingDetails: BlobListingDetails.Metadata);
    foreach (CloudBlockBlob blob in blobs)
    {
        blob.AcquireLease(TimeSpan.FromSeconds(15), null);
        var blocks = blob.DownloadBlockList(BlockListingFilter.Committed).ToList();
        foreach (var block in blocks)
        {
            MemoryStream sourceStream = new MemoryStream();
            blob.DownloadRangeToStream(sourceStream, 0, block.Length);
            // Modify the stream here
            Gpg gpg1 = new Gpg();
            MemoryStream destStream = new MemoryStream();
            gpg1.Passphrase = Phrase;
            gpg1.BinaryPath = @"C:/Program Files (x86)/GNU/GnuPG/gpg2.exe";
            sourceStream.Position = 0;
            gpg1.Decrypt(sourceStream, destStream);

            destStream.Position = 0;
            StreamReader reader = new StreamReader(destStream);
            string xmlfile = "";
            xmlfile = reader.ReadToEnd();
            blob.PutBlock(block.Name, destStream, null, null, null, null);
            Console.WriteLine(xmlfile);
        }

        Console.Read();

        blob.PutBlockList(blocks, null, null, null);
    }

Answer 1

我有完全相同的目录结构，每天每小时都有一个额外的文件夹。我处理每个文件夹中的每个 blob 并“清理”它们。

一些伪代码

• blob = cloudBlobClient.ListBlobs(prefix:rootFolder,useFlatBlobListing:true,blobListingDetails: BlobListingDetails.Metadata);
• foreach（blob 中的 blob）
  • blob.AcquireLease
  • var blocks = blob.DownloadBlockList(BlockListingFilter.Committed).ToList();
  • foreach（块中的块）
    • blob.DownloadRangeToStream(dataStream,position,block.Length)
    • 必要时修改流
    • 如果修改，blob.PutBlock(block.Name,adjustedStream...)

• blob.PutBlockList(blocksToPush, new AccessCondition() { LeaseId = leaseId })

  client.ListBlobs 基本上完成了枚举所有文件夹中的所有 blob 的工作。然后只需迭代每个 blob 文件并获取其块并处理它们。