在抓取网站时找不到存在“检查元素”的 div

Question

我有一个下载 html 页面的 python 脚本。我正在寻找这个 div：

<data-a-target="clip-thumbnail-link"  

当我检查我看到的网页上的元素时，那个 div 就在那里。但它没有出现在我的脚本中的打印语句中

from bs4 import BeautifulSoup
from urllib import urlopen

BASE_URL = "https://www.twitch.tv/lethalfrag/clips"

def get_category_links(section_url):
    html = urlopen(section_url).read()    
    soup = BeautifulSoup(html, "lxml")    
    print(soup)     

get_category_links(BASE_URL)

Answer 1

如果您在页面源中搜索检查过的元素，您会发现它丢失了。这告诉我们 JavaScript 在加载后正在修改页面。 urllib 或 requests 无法运行 JavaScript 代码。所以，你必须使用Selenium。

有关安装和演示，请阅读此https://pypi.python.org/pypi/selenium

您需要使用explicit wait 来获取您要查找的元素。

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome()
driver.get('https://www.twitch.tv/lethalfrag/clips')
try:
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'clips-cards ')))
except TimeoutException:
    print('Page timed out after 10 secs.')
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()
print(soup.find('a', {'data-a-target': 'clip-thumbnail-link'})['href'])  

输出：

https://clips.twitch.tv/RealIgnorantHeronVoteYea