将文件从 Azure Blob 存储复制到 Azure Data Lake Store

Question

我正在将文件从 Azure blob 存储复制到 azure 数据湖存储，我需要从年（文件夹）\月（文件夹）\日（txt 文件以日为基础）中选择文件。我可以做一个文件使用 hadrcoded 路径，但我无法每天选择文件并处理复制到 azure 数据湖存储中。谁能帮帮我。

我正在使用 ADF V2 并使用 UI 设计器来创建我的连接、数据集和管道，我的步骤工作正常

• 将文件从 Blob 存储复制到数据湖存储
• 从数据湖存储中挑选该文件并通过 usql 处理以转换数据。
• 我保存在 Azure SQL DB 中的转换数据

请给我答案我无法获得任何帮助 b/c 所有帮助都在 JSON 中我正在寻找我将如何在 UI 设计器中定义和传递参数。

谢谢

Answer 1

对于分区文件路径部分，您可以查看this post。 您可以使用复制数据工具来处理它。