Azure 数据工厂查询

Question

案例：- 有一个 URL，我需要从下拉列表中选择一个输入，从下拉列表中选择另一个输入以转换一些数据，再选择一个输入以选择 CSV 格式的数据，然后单击提交按钮，输出为以 CSV 格式生成，因此我需要通过 ADF 自动执行此过程。

我做了什么：-我正在使用带有复制活动的 Web 活动，以使用 POST 方法将 URL 数据加载到 blob 中。但我得到的输出是页面的完整 HTTP 响应。但是，我也为映射创建了参数，但它不起作用。仅获取这些参数以选择 URL 中的数据并仅获取选定值输出的解决方案是什么？

Answer 1

数据工厂不是网络抓取的最佳选择，这不是它在技术堆栈中的功能。

当我必须从网站获取数据时，我通常会做一个 Azure Function 活动。您可以使用自己喜欢的语言（python、.net、java、powershell、node 等）创建 Azure 函数，进行 Web 抓取并将所需的任何数据存储在 Blob 存储中。然后，使用 Azure Function Activity 从数据工厂调用函数。

希望这有帮助！