使用 SSIS 从网站 (URL) 读取多个 CSV 文件？

Question

我有一个 SQL Server 表，其中包含许多不同的 URL，每个 URL 都指向相同格式的特定 CSV 文件。无需凭据即可使用该 URL 下载其指向的 CSV 文件。

是否可以使用 SSIS 从该 URL 读取这些 CSV 文件？

我正在尝试将所有 CSV 数据读取到正确的 SQL Server 表中。

我尝试使用平面文件连接，但尝试循环时失败。也尝试了 HTTP 连接，但没有成功。

感谢您的帮助。

Answer 1

1. 设置一个名为 URLS 的对象变量

2. 执行映射到 URLS 的 SQL 任务

3. Foreach（URL 上的 ADO 对象）

4. 设置名为 url 的字符串变量

5. 将 foreach 变量设置为 url

6. 在foreach中添加脚本任务

7. 将网址添加为已读

8. 添加此脚本

   System.Net.WebClient wc = new System.Net.WebClient();
   wc.DownloadFile(Dts.Variables["url"].Value, @"C:\[where you want to go].csv");
   

9. 添加数据流来处理下载的文件。