Python：抓取 Instagram IGTV 数据，但仅显示前 24 条记录的信息

Question

我正在尝试抓取 instagram IGTV 数据（例如，视频标题、观看次数、喜欢、cmets 等）。首先我只使用 BeautifulSoup，但我只能获取前 12 个视频详细信息.然后我开始使用 Selenium，现在我可以获得前 24 个视频细节。但我必须刮掉所有的视频。

下面的代码为我提供了前 24 个视频的超链接，然后我从每个超链接中抓取视频详细信息：

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#import json

url = 'https://www.instagram.com/agt/channel/?hl=en'
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=options)
driver.get(url)
time.sleep(3)
page = driver.page_source
driver.quit()
soup = BeautifulSoup(page, 'html.parser')

#print(soup)
video_links=[]
for a in soup.find_all('a', class_='_bz0w', href=True):
    video_links.append('https://www.instagram.com' + a['href'])
print(video_links)

请建议我如何获取所有视频详细信息。

Answer 1

您可能需要向下滚动才能加载更多结果。 你可以做类似的事情

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

这样做

将此与找到的答案 elsewhere 结合起来，这样我们就可以向下滚动直到到达页面末尾：

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#import json

url = 'https://www.instagram.com/agt/channel/?hl=en'
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=options)
driver.get(url)
SCROLL_PAUSE_TIME = 1

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height


page = driver.page_source
driver.quit()
soup = BeautifulSoup(page, 'html.parser')

#print(soup)
video_links=[]

for a in soup.find_all('a', class_='_bz0w', href=True):
    video_links.append('https://www.instagram.com' + a['href'])
print(len(video_links))