我一直在尝试从网页中抓取 YouTube 链接，但没有任何效果。
这是我一直在尝试抓取的图片。：
这是我最近尝试的代码：
youtube_link = soup.find("a", class_="ytp-title-link yt-uix-sessionlink")
这是 YouTube 链接所在网站的链接：https://www.electronic-festivals.com/event/i-am-hardstyle-germany
【问题讨论】：
but nothing has worked - 你有什么错误？
标签： python selenium web-scraping youtube screen-scraping
大部分 youtube 链接都在 iframe 内，并且 javascript 也需要运行。尝试使用硒。以下提取任何包含youtube 的src 或href。我只输入托管 youtube 剪辑的关键 iframe。你可以循环所有iframes检查。
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
def addItems(links, final):
for link in links:
ref = link.get_attribute('src') if link.get_attribute('src') is not None else link.get_attribute('href')
final.append(ref)
return final
url = "https://www.electronic-festivals.com/event/i-am-hardstyle-germany"
driver = webdriver.Chrome()
driver.get(url)
driver.switch_to.frame(driver.find_element_by_css_selector('.media-youtube-player'))
final = []
try:
links = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "[href*=youtube] , [src*=youtube]")))
addItems(links, final)
except:
pass
finally:
driver.switch_to.default_content()
links = driver.find_elements_by_css_selector('[href*=youtube] , [src*=youtube]')
addItems(links, final)
for link in set(final):
print(link)
driver.quit()
【讨论】：
如果你的意思是抓取下载，试试
pip install youtube-dl
在你的外壳中。
【讨论】：