【发布时间】：2021-06-30 17:18:12
【问题描述】：
我想创建一个机器人，它会返回所需歌曲的歌词，显然谷歌是最好的提供者
所以我需要像这样刮掉内容
但问题是我需要点击“显示更多”按钮才能获得完整的歌词
是否可以不使用硒来做到这一点？因为如果我可以按下按钮，那么只需使用 axios 或其他东西抓取 HTML，拥有一个完整的 webdriver 似乎有点矫枉过正
【问题讨论】：
标签： javascript node.js web-scraping
【发布时间】：2021-06-30 17:18:12
【问题描述】：
如果您使用的是 axios，则不必“单击”按钮（其余文本只是隐藏，但存在于 html 响应中）。 因此，您只需要从 axios 获取响应并解析您的 html 以仅获取您想要的部分
【讨论】：
-
这太尴尬了，我没有正确检查整个页面，但是当我们讨论这个主题时，如果按下按钮会获取一些资源，那么你将如何实现抓取？
-
3 种方式：使用像 selenium 这样模拟用户输入的抓取引擎，获取在页面中加载数据的请求（在大多数情况下，这来自 API），或者您可以使用触发的脚本onClick 事件并处理 Dom 更改以获取您的数据（如果网站使用 virtualDom 可能会非常棘手）