在文本文件中下载目标链接 html (Beautiful Soup - Python3)

Question

我对 python 和学习网络爬虫完全陌生。

我正在尝试下载文本页面中的单个目标链接。
到目前为止，我成功提取了我需要的所有目标 URL，但不知道如何下载文本文件中的所有目标 HTML 文本。

谁能给我一个大致的想法。

url = ""
r  = requests.get(url)
data = r.text
soup = BeautifulSoup(data, "lxml")
link1 = soup2.find_all('a', href=re.compile("drupal_lists"))
for t in link1:
    print(t.attrs['href'])

Answer 1

在您的 for 循环中，使用 requests 库访问链接 url 并将内容写入文件。比如：

link_data = requests.get(t.attrs['href']).text
with open('file_to_write.out', 'w') as f:
  f.write(link_data)

您可能希望更改每个链接的文件名。