抓取动态 HTML（YouTube 评论）

Question

借助 Beautiful Soup 和请求库，我可以抓取 HTML 内容，但不能抓取 JavaScript 或 AJAX 调用加载的内容。

如何通过我的 Python 脚本来模拟这一点？因为当我们滚动页面时 YouTube cmets 会加载。我找到了两种方法；一个使用 Selenium，另一个使用 lxml 请求，我有点看不懂。

示例 (this is the video)：

import requests
from bs4 import BeautifulSoup as soup

url = 'https://www.youtube.com/watch?v=iFPMz36std4'
response = requests.get(url)
page_html = response.content
#print page_html

page_soup=soup(page_html,"html.parser")
print page_soup

Answer 1

你需要使用硒：

这里有个技巧，Youtube只在你向下滚动视频时加载cmets，如果你滚动底部或其他地方，cmets将不会加载，所以首先滚动到向下部分并等待滚动到底部后加载cmets或随时随地：

from selenium import webdriver

import time

driver=webdriver.Chrome()

driver.get('https://www.youtube.com/watch?v=iFPMz36std4')

driver.execute_script('window.scrollTo(1, 500);')

#now wait let load the comments
time.sleep(5)

driver.execute_script('window.scrollTo(1, 3000);')



comment_div=driver.find_element_by_xpath('//*[@id="contents"]')
comments=comment_div.find_elements_by_xpath('//*[@id="content-text"]')
for comment in comments:
    print(comment.text)

部分输出：

#can't post full output its too long
I love Kygo's Stranger Things and Netflix's Stranger Things <3
Stranger Things, Kygo and OneRepublic, could it be better?
Amazing Vibe!!!!!!!!!????

Answer 2

使用 Selenium 可以解决问题。

虽然我有不同的向下滚动方式。此函数将通过定期调用 javascript 来帮助您向下滚动，并检查窗口的高度在实际向下滚动和之前向下滚动之间是否发生了变化。

def scrollDown(pause, driver):
    """
    Function to scroll down till end of page.
    """
    import time
    lastHeight = driver.execute_script("return document.body.scrollHeight")

    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(pause)
        newHeight = driver.execute_script("return document.body.scrollHeight")
        if newHeight == lastHeight:
            break
        lastHeight = newHeight

# Main Code
driver = webdriver.Chrome()

# Instantiate browser and navigate to page

driver.get('https://www.youtube.com/watch?v=iFPMz36std4')
scrollDown(6, driver)

# Page soup 
soup = BeautifulSoup(driver.page_source, "html.parser")