Azure - 将文件从本地实时复制到 blob

Question

我正在使用 Azure 平台并使用 Azure 数据工厂 v2 执行数据集成 (ETL) 活动。我需要在将消息文件放入外部 SFTP 路径时实时解析 .txt 格式的消息文件。

管道如下所示：-

源 --> SFTP 服务器 --> Azure Blob --> ADF 管道 --> 数据库

管道应该从 SFTP 服务器获取文件并将其复制到 Azure blob，因为文件被拖放到外部 SFTP 服务器中。从那里开始，其余的处理发生。

有人可以告诉我如何让 ADF 作业实时运行以查找存放在外部 SFTP 路径中的新文件吗？在 Azure 中使用不同工具/技术的任何建议也很好。

Answer 1

你应该看看Azure Logic App，它有一个SFTP connector：

• SFTP trigger: When a file is added or modified

然后将文件复制到 blob 存储（使用 blob connector）：

• Create and manage blobs in Azure blob storage with Azure Logic Apps

然后您使用ADP connector（预览版）触发您的 ADP 管道

因此，当新文件上传到 FTP 时将触发逻辑应用，然后将文件复制到 blob 存储并触发 ADP 管道运行，无需任何代码。