问题抓取动态站点（PhantomJS）

Question

我正在尝试寻找一种方法来获取/下载website。

我尝试了wget 和curl 但没有成功，然后我被引导到PhantomJS。

var url = 'https://www.sagedining.com/menus/admiralfarragutacademy';
var fs = require('fs');
var page = require('webpage').create();
page.open(url, function(status) {
    if (status === 'success') {
        var html = page.evaluate(function() {
            return document.documentElement.outerHTML;
        });
        try {
            fs.write("/root/choate/page.html", html, 'w');
        } catch(e) {
            console.log(e);
        }
    }
    phantom.exit();
});

当我在我的 Debian VPS 上运行此代码时，

sudo xvfb-run -- phantomjs menu.js

它会在网站仍在加载时下载该网站，因此只下载加载屏幕。 每次运行时也会抛出这个错误：

TypeError: Attempting to change the setter of an unconfigurable property.

TypeError: Attempting to change the setter of an unconfigurable property.

在加载所有菜单后，有什么方法可以下载这个网站？报错信息和它有关系吗？

提前谢谢你。

Answer 1

该错误来自 PhantomJS，因为页面代码试图在 DOM 中设置一些属性，并且可能无法访问它们。您应该等待加载发生，您可以使用超时功能来完成：

   if (status === 'success') {
   window.setTimeout(function () {
        var html = page.evaluate(function() {
        return document.documentElement.outerHTML;
    });
    try {
          fs.write("/root/choate/page.html", html, 'w');
        } catch(e) {
          console.log(e);
        }
    }, 1000); //Increase the value if you need more time
   }