抓取网站并仅将可见文本导出到文本文档 Python 3 (Beautiful Soup)

Question

问题：我正在尝试使用beautifulsoup 仅针对可见文本抓取多个网站，然后将所有数据导出到单个文本文件中。

此文件将用作使用 NLTK 查找搭配的语料库。到目前为止，我正在处理这样的事情，但任何帮助都将不胜感激！

import requests
from bs4 import BeautifulSoup
from collections import Counter
urls = ["http://en.wikipedia.org/wiki/Wolfgang_Amadeus_Mozart","http://en.wikipedia.org/wiki/Golf"]
    for url in urls:
    website = requests.get(url)
    soup = BeautifulSoup(website.content)
    text = [''.join(s.findAll(text=True))for s in soup.findAll('p')]
with open('thisisanew.txt','w') as file:
    for item in text:
        print(file, item)

不幸的是，这有两个问题：当我尝试将文件导出到 .txt 文件时，它完全是空白的。

有什么想法吗？

Answer 1

print(file, item) 应该是print(item, file=file)。

但不要将你的文件命名为 file，因为这会影响 file 内置函数，这样更好：

with open('thisisanew.txt','w') as outfile:
    for item in text:
        print(item, file=outfile)

为了解决下一个问题，从第一个 URL 覆盖数据，您可以将文件编写代码移动到循环中，并在进入循环之前打开文件一次：

import requests
from bs4 import BeautifulSoup
from collections import Counter
urls = ["http://en.wikipedia.org/wiki/Wolfgang_Amadeus_Mozart","http://en.wikipedia.org/wiki/Golf"]

with open('thisisanew.txt', 'w', encoding='utf-8') as outfile:
    for url in urls:
        website = requests.get(url)
        soup = BeautifulSoup(website.content)
        text = [''.join(s.findAll(text=True))for s in soup.findAll('p')]
        for item in text:
            print(item, file=outfile)

Answer 2

还有另一个问题：您只从最后一个 url 收集文本：一遍又一遍地重新分配 text 变量。

在循环之前将text定义为一个空列表，并在里面添加新数据：

text = []
for url in urls:
    website = requests.get(url)
    soup = BeautifulSoup(website.content)
    text += [''.join(s.findAll(text=True))for s in soup.findAll('p')]