使用 node.js 和 horseman 从 js 中抓取 html

Question

我正在尝试使用此页面中的薪水信息抓取击球手数组： https://www.swishanalytics.com/optimus/mlb/dfs-batter-projections

我正在使用 node.js 和 node-horseman。

这是我的代码：

var Horseman = require('node-horseman');
var horseman = new Horseman();

horseman.open('https://www.swishanalytics.com/optimus/mlb/dfs-batter-projections');

if (horseman.status() === 200) {
    console.log('[+] Successful page opening')
    horseman.screenshot('image.png');
    console.log(horseman.html());
  }    
horseman.close();

问题是从 horseman.html() 的返回仍然有很多 JavaScript 并且不能用 Cheerio 之类的东西提取。如何以编程方式执行 javascript？

例如，如果我在同一链接中查看源代码，我会看到有击球手的区域以

开头

function Model(){ this.batterArray = 
[{"team_short":"rockies","mlbam_id":"571448","player_name":"Nolan Arenado",

显然这仍然是 javascript... 我假设在某些时候它必须被执行并转换为 HTML 以由浏览器呈现？

Answer 1

我刚刚对此进行了测试，它似乎有效：

var Horseman = require('node-horseman');
var horseman = new Horseman();

horseman.open('https://www.swishanalytics.com/optimus/mlb/dfs-batter-projections');

if (horseman.status() === 200) {
    console.log('[+] Successful page opening')
    horseman.screenshot('image.png');
    var batters = horseman.evaluate(function(){
        return (new Model()).batterArray;
    });
    console.log(batters);
  }    
horseman.close();

这将为您提供一系列可在代码中使用的击球手。您可以将其写入文件或从中创建一个表。

Answer 2

它应该是这样工作的。

var Horseman = require('node-horseman');
var horseman = new Horseman();
horseman
 .open('https://www.swishanalytics.com/optimus/mlb/dfs-batter-projections')
 .status()
 .then((status) => {
   if(status === 200){
     console.log('[+] Successful page opening')
     horseman.screenshot('image.png');
     var batters = horseman.evaluate(function(){
       return (new Model()).batterArray;
     });
     console.log(batters);
   }else{
     console.log('no batters');
   }
 })
 .close();