使用 BeautifulSoup 进行网页抓取不起作用

Question

最终，我试图打开新闻网站的所有文章，然后将所有文章中使用的词排在前 10 位。为此，我首先想看看有多少文章，以便我可以在某个时候对它们进行迭代，还没有真正弄清楚我想如何做所有事情。

为此，我想使用 BeautifulSoup4。我认为我想要获得的课程是 Javascript，因为我没有得到任何回报。 这是我的代码：

url = "http://ad.nl"
ad = requests.get(url)
soup = BeautifulSoup(ad.text.lower(), "xml")
titels = soup.findAll("article")

print(titels)
for titel in titels:
    print(titel)

文章名称有时是 h2 或 h3。它总是有一个相同的课程，但我无法通过该课程获得任何东西。它有一些父母，但它使用相同的名称，但例如扩展名为 -wrapper。我什至不知道如何使用父母来获得我想要的东西，但我认为这些类也是 Javascript。还有一个我感兴趣的href。但再一次，这可能也是Javascript，因为它什么都不返回。

有谁知道我可以如何使用 BeautifulSoup 来使用任何东西（最好是 href，但文章名称也可以）？

Answer 1

如果您不想使用硒。这对我有用。我在 2 台具有不同互联网连接的 PC 上进行了尝试。可以试试吗？

from bs4 import BeautifulSoup
import requests

cookies={"pwv":"2",
"pws":"functional|analytics|content_recommendation|targeted_advertising|social_media"}

page=requests.get("https://www.ad.nl/",cookies=cookies)

soup = BeautifulSoup(page.content, 'html.parser')

articles = soup.findAll("article")

然后按照kimbo的代码提取h2/h3。

Answer 2

正如@Sri 在 cmets 中提到的，当您打开该 url 时，会出现一个页面，您必须首先接受 cookie，这需要交互。 当您需要交互时，可以考虑使用 selenium (https://selenium-python.readthedocs.io/) 之类的东西。

这里有一些东西可以帮助你入门。

（编辑：您需要在运行下面的代码之前运行pip install selenium）

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = 'https://ad.nl'

# launch firefox with your url above
# note that you could change this to some other webdriver (e.g. Chrome)
driver = webdriver.Firefox()
driver.get(url)

# click the "accept cookies" button
btn = driver.find_element_by_name('action')
btn.click()

# grab the html. It'll wait here until the page is finished loading
html = driver.page_source

# parse the html soup
soup = BeautifulSoup(html.lower(), "html.parser")
articles = soup.findAll("article")

for article in articles:
    # check for article titles in both h2 and h3 elems
    h2_titles = article.findAll('h2', {'class': 'ankeiler__title'})
    h3_titles = article.findAll('h3', {'class': 'ankeiler__title'})
    for t in h2_titles:
        # first I was doing print(t.text), but some of them had leading
        # newlines and things like '22:30', which I assume was the hour of the day
        text = ''.join(t.findAll(text=True, recursive=False)).lstrip()
        print(text)
    for t in h3_titles:
        text = ''.join(t.findAll(text=True, recursive=False)).lstrip()
        print(text)

# close the browser
driver.close()

这可能与您的想法完全一致，但这只是如何使用硒和美丽汤的示例。您可以随意复制/使用/修改它。 如果您想知道要使用哪些选择器，请阅读@JL Peyret 的评论。