使用 CasperJS/PhantomJs 进行抓取

Question

我想用 CasperJS 从一个受欢迎的网站上抓取一些数据。我已经使用代理池成功地抓取了一些数据。现在我担心我的 HTTP 请求附带的 HTTP REQUEST 标头。 我知道有很多关于我和我的服务器的信息 - 那么是否有某种方法可以删除或修改传出的 HTTP 标头。

Answer 1

您可以使用 headers 属性将自定义标头添加到 casperjs。您应该能够更改您关心的标题。

示例：http://casperjs.org/api.html#casper

casper.open('http://some.testserver.com/post.php', {
    method: 'post',
    data:   {
       'title': 'Plop',
        'body':  'Wow.'
    },
    headers: {
       'Accept-Language': 'fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3'
    }
});