【问题标题】:How can I use Node / Cheerio (or something else) to scrape a global variable from a site?如何使用 Node / Cheerio(或其他东西)从站点中抓取全局变量?
【发布时间】:2017-01-08 19:23:16
【问题描述】:

页面上有一个全局变量,其中包含我想为其设置刮板的对象。使用 Node / Express / 可能是 Cheerio 的最佳方法是什么?

我了解 Cheerio 在遍历 DOM 方面的好处,但我知道我要抓取的全局变量的名称,只需要按设定的时间表提取其信息

【问题讨论】:

  • 什么是“页面上的全局变量”?您的意思是页面中插入的代码中的 javascript 变量?
  • 是的。网站上有一个全局变量,它是一个对象。如果我访问该站点并将该变量名输入到我的控制台中,它会返回我想要的对象。有没有办法使用 Node 来抓取该变量?

标签: node.js express web-scraping cheerio


【解决方案1】:

Cheerio 只是一个 dom 解析器,因此您无法访问任何 javascriot 或任何 javascript 生成的内容。

你需要像PhantomJS 这样模拟浏览器的东西。 看看这个Stackoverflow answer

【讨论】:

  • 谢谢,这正是我所需要的
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2014-10-22
  • 1970-01-01
  • 2016-09-12
  • 1970-01-01
  • 1970-01-01
  • 2022-11-03
  • 1970-01-01
相关资源
最近更新 更多