使用 Jsoup 抓取 Youtube答案

【问题标题】：Using Jsoup to scrape Youtube使用 Jsoup 抓取 Youtube
【发布时间】：2021-07-24 16:34:16
【问题描述】：

我正在尝试从 Youtube 视频中获取一些 Youtube 数据 API 未提供的数据。（按 Read More 时的音乐元数据）

Jsoup 似乎是收集这些数据的正确库。我尝试通过调用

来获取文档对象

Jsoup.connect(videoUrl).get()

现在的问题是我总是让你被重定向到的页面接受 cookie。我也尝试添加 userAgent，但没有成功。

有人知道如何使用 Jsoup 绕过 cookie 页面吗？
或者可能有其他收集音乐元数据的想法

谢谢

【问题讨论】：

【解决方案1】：

有两种可能：

使用您的网络抓取工具点击“接受”按钮以获取 cookie（Selenium 做得很好）
手动单击“接受”，然后刷新网页，同时使用 Ctrl+Shift+E 检查 Web 浏览器的“网络”选项卡。复制为 cURL，无论是否点击“接受”按钮，您都会发现不同之处以及向您的网络抓取工具提供什么参数来表示您的同意并绕过此菜单。

【讨论】：