网页抓取：请求内容中缺少标签

Question

我正在学习 Python，我的第一个项目是抓取戴尔网页以提取一些数据并将其存储在 Zabbix 中。

基本上，我需要提取我们拥有的一些服务器的保修信息。 这是我到目前为止得到的代码。

import requests
from bs4 import BeautifulSoup

my_url = 'https://www.dell.com/support/home/ca/en/cadhs1/product-support/servicetag/0-NE9lVXI4NlpmbjFtRHJBbTF0dDhoQT090/overview'

# UserAgent 
headers = {
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "en-GB,en-US;q=0.9,en;q=0.8,pt-BR;q=0.7,pt;q=0.6",
    "Sec-Fetch-Mode": "navigate",
    "Sec-Fetch-Site": "cross-site",
    "Sec-Fetch-User": "?1",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36",
    "X-Amzn-Trace-Id": "Root=1-5e5752df-915a054873c751c475708940"
}

# Opening up connection to site
uClient = requests.get(my_url, headers=headers)
page_soup = BeautifulSoup(uClient.content, 'html.parser')  
print(page_soup)

有趣的是，当我检查页面时，我可以看到我想要抓取的数据，但是当我在代码中打印页面时，数据不存在。似乎提取的数据不完整。

这是我想在脚本上看到的数据<p id="warrantyExpiringLabel" class="mb-0">Expires 11 DEC. 2022</p>，但打印时它不存在。

我正在阅读一些在线论坛，说一些数据是通过 javascript 插入的，这就是 Beautifulsoup 库无法提取它的原因。我需要使用其他一些库来收集数据。

我仍在学习 Python 和 Beautifulsoup 库，因此我可能需要有人为我指明正确的方向。

谁能与我分享你的知识，以便我学习这个库？

Answer 1

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup
import time

options = Options()
options.add_argument('--headless')
driver = webdriver.Firefox(options=options)
driver.get("https://www.dell.com/support/home/ca/en/cadhs1/product-support/servicetag/0-NE9lVXI4NlpmbjFtRHJBbTF0dDhoQT090/overview")

time.sleep(1)
soup = BeautifulSoup(driver.page_source, 'html.parser')

for item in soup.findAll("p", id="warrantyExpiringLabel"):
    print(item.text)

driver.quit()

输出：

Expires  20 JUL 2023