Web Scraping with bs4 python 3. 找不到元素

Question

我目前正在 python3 中尝试 BeautifulSoup(bs4)。

当我去打印汤或酱汁时，我正在寻找的元素不存在。

我在酱/汤中找不到此表的代码（请参见表网站的屏幕截图）。

这是我的代码：

import bs4 as bs
import requests

r = requests.get("https://www.flashscore.com/field-hockey/netherlands/hoofdklasse/standings/")

soup = bs.BeautifulSoup(r.text,'lxml')

print(soup) # or i print r.text -> the sauce

任何帮助将不胜感激。如果可能，请您解释任何建议。

Answer 1

非常非常常见的问题：页面使用JavaScript 添加项目但BS 和requests 无法运行JavaScript。

您可以使用Selenium 来控制可以运行JavaScript 的真实Web 浏览器，并使用Selenium 函数搜索数据或从Selenium (driver.page_source) 获取HTML 并使用BS。

或者您可以在Firefox/Chrome（标签：Network，过滤器：XHR）中使用DevTools 来查找JavaScript 用于从服务器获取数据的url，然后您可以使用它带有requests 的网址。

---

使用 DevTools 我找到了 url 并获得了带有表格的 HTML。

它需要标头'X-Fsign' 来获取数据而不是带有消息401 Unauthorized 的HTML

我不知道这个标头是否总是具有相同的值。如果不是，则需要更多研究才能在 HTML 或 Cookie 中找到此值。

import requests
import bs4 as bs

url = 'https://d.flashscore.com/x/feed/ss_1_INmPqO86_GOMWObX1_table_overall'

headers = {
#    'User-Agent': 'Mozilla/5.0'
#    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:79.0) Gecko/20100101 Firefox/79.0',
#    'X-Referer': 'https://www.flashscore.com/field-hockey/netherlands/hoofdklasse/standings/',
    'X-Fsign': 'SW9D1eZo',
#    'X-Requested-With': 'XMLHttpRequest',
#    'Referer': 'https://d.flashscore.com/x/feed/proxy-local',
}

r = requests.get(url, headers=headers)

soup = bs.BeautifulSoup(r.text, 'lxml')

for item in soup.find_all('span', class_='team_name_span'):
    print(item.text)

结果：

Bloemendaal
Den Bosch
HGC
Rotterdam
Kampong
Oranje Rood
Amsterdam
Pinoke
Tilburg
Klein Zwitserland
Hurley
Almere