通过提供包含多个 URL 的文件来检索网页的源 [关闭]

Question

我想通过提供包含其 URL 列表的文件来下载网页源。 例如，我有一个包含以下 URL 的文件

http://www.adobe.com/support/security/bulletins/apsb09-19.html
http://www.adobe.com/support/security/bulletins/apsb09-20.html                                                                                                

我可以使用urllib 来实现吗，因为我想使用 python 模块而不是 unix 命令（如 wget）？

我想阅读这个文件并将每个 URL 作为 urlopen 或 urlretrieve 的输入，谁能告诉我该怎么做？

Answer 1

尽量分解问题。您有一个文本文件，其中每个 URL 都列在自己的行中。您知道 Python 非常支持逐行读取，这要归功于 open()，并且您可能熟悉 urllib 或 requests，这取决于您的喜好。

所以你需要做的就是：

1. Open the file

2. Read line by line

3. 将该行用作 URL 字符串

4. 使用urllib或requests向URL发送请求

5. 捕获输出并解析/保存

你就完成了！