使用 BeautifulSoup 从 HTML 文件中丢失元素

Question

我对网络抓取世界非常陌生，我正在尝试从网站上抓取鞋子的名称。当我在网站上使用inspect时，有一个div标签，里面基本上包含了整个网页，但是当我打印出html代码时，div标签完全是空的！这是我当前的代码：

from bs4 import BeautifulSoup
import requests
import time

def findShoeNames():
   html_file = requests.get('https://www.goat.com/sneakers/brand/air-jordan').text
   soup = BeautifulSoup(html_file, 'lxml')
   print(soup)
 
if __name__ == "__main__":
   findShoeNames()

当我调用我的函数并打印（汤）时，div 标签看起来像这样：

<div id="root"></div>

但如前所述，当我在网站上点击检查时，这个 div 标签基本上包含了整个网页。所以我无法从网站上抓取任何数据。

请帮忙！谢谢

Answer 1

网站使用js加载。所以你应该使用 selenium 和 chromedriver。 安装硒 从here 安装 chromedriver（解压缩并复制您的 python 文件夹）

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

url = "https://www.goat.com/sneakers/brand/air-jordan"
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=options)
driver.get(url)
time.sleep(1)
page = driver.page_source
driver.quit()
soup = BeautifulSoup(page, 'lxml')

print(soup.prettify)