使用 python 从 youtube 上抓取视频信息

Question

我想使用 python 提取某个 Youtube 视频的视频信息（如标题、观看人数），就像我在其他网站上进行网页抓取一样。但由于某种原因，它要么不返回任何内容，要么只为侧面的推荐视频提供标签，而不是 URL 的“主视频”

我尝试了在其他网站上用于网络抓取的相同代码，如下所示。显然它在 Youtube 上不起作用。如果我想根据 youtube URL 获取视频信息，我应该怎么做？

import requests
from bs4 import BeautifulSoup

base_url ='https://www.youtube.com/watch?'
search_string = 'v=I41aLSzLI50'
url = base_url + search_string
supers=requests.get(url).content    
data = BeautifulSoup(supers,'html.parser')
videos =data.find_all('a', class_= 'content-link spf-link yt-uix-sessionlink spf-link')
for video in videos:
    print(video.find('span', class_='title').get_text())

Answer 1

我在 YouTube 上查找了一个页面，您要查找的内容似乎不在原始来源中（至少不在您期望的位置）。当您的浏览器呈现页面时，有一些脚本会创建内容。根据我的经验，您有几种选择。

1. 使用评论者建议的 API 之一。我对这些不是很熟悉，但它可能会花费你一些时间和精力。由于页面格式的变化（可能需要更新脚本），网页抓取可能会出现问题。

2. 如果您坚持网页抓取，您可以使用自动浏览器。我曾经定期使用 Selenium，它应该可以满足您的目的。这将允许您使用脚本生成的内容。

3. 我查看了页面源代码，您要查找的信息似乎包含在某些标签中，但是解析这将很痛苦。