【问题标题】:Python: Scrape videos (that are invisible in HTML) from webpagesPython:从网页中抓取视频(在 HTML 中不可见)
【发布时间】:2019-09-03 01:42:11
【问题描述】:

我想从 Google 广告透明度报告中下载嵌入在一组网址中的视频。以下是视频是 YouTube 链接的示例页面:

https://transparencyreport.google.com/political-ads/advertiser/AR113835462480625664/creative/CR525481620803682304

这是一个示例页面,视频由谷歌托管,视频文件可以直接下载:

https://transparencyreport.google.com/political-ads/advertiser/AR528016269983612928/creative/CR221377870159675392

在这两种情况下,常规浏览器(Chrome、Firefox)都允许我复制 YouTube 链接 URL(顶部示例)或下载链接的视频文件(底部示例)。

但是,我无法在页面源代码中找到这些链接。谁能告诉我如何找到它们,或者如何编写一个脚本来定位正确的标签并获取视频文件(或 YouTube 链接)?这是动态内容问题吗?

【问题讨论】:

    标签: python html css web-scraping python-requests


    【解决方案1】:

    您可以通过 transparencryreport API 访问它

    例如,您附加的页面正在从以下页面获取视频内容:

    https://transparencyreport.google.com/transparencyreport/api/v3/politicalads/creatives/details?entity_id=AR528016269983612928&creative_id=CR221377870159675392

    【讨论】:

    • 我能问一下你是如何访问这个的或者你运行了什么查询来找到它吗?我在bigquery-public-data.google_political_ads.campaign_targetingbigquery-public-data.google_political_ads.creative_stats 中都没有看到此信息。从 API 获取这些链接比抓取它们要好得多。
    • Attila,我进行了更多挖掘,但仍然找不到任何透明度报告文档的网站引用此链接/查询的位置。你能告诉我你在哪里找到的吗?直接从他们的 API 查询视频链接会很棒。
    猜你喜欢
    • 1970-01-01
    • 2019-01-20
    • 2019-06-25
    • 1970-01-01
    • 2010-12-28
    • 1970-01-01
    • 1970-01-01
    • 2021-03-04
    相关资源
    最近更新 更多