【发布时间】：2020-12-18 17:15:40
【问题描述】：
我正在尝试从网站上抓取文本。我使用简单的代码：requests.get(url_here)。我的代码直到最近才有效。现在，当我使用请求时，我收到一条消息，而不是获取网站的文本：
“该网站需要启用 JavaScript！您使用的浏览器不支持 JavaScript，或者 JavaScript 已关闭。”
我已验证我的浏览器确实启用了 javascript。有没有办法解决这个问题？
在 Mac 上使用 Jupyter notebook 在 Python 中工作，供参考。
【问题讨论】：
-
你需要像 Selenium 这样的 javascript。 requests 模块不执行 javascript。或者，您可以尝试查找 javascript 进行的 AJAX 调用，然后使用请求复制该 AJAX 调用。如果网址不保密，请分享网址。
-
使用请求访问此网页几个月来完美运行。据我所知，网站上没有任何改变会使请求不再有效。这些信息有帮助吗？
-
"该站点需要启用 JavaScript！您使用的浏览器不支持 JavaScript，或者 JavaScript 已关闭。"即使外观可能没有改变，也表明某些东西已经改变了。尝试在关闭 javascript 的情况下在浏览器中打开页面。
标签： javascript python jupyter scrape