【发布时间】：2015-08-04 07:13:25
【问题描述】：
所以我正在尝试使用 node.js x 射线抓取框架来抓取一些内容。虽然我可以从单个页面获取内容，但我不知道如何跟踪链接并一次性从子页面获取内容。
在 X 射线 github 配置文件上有一个示例，但如果我将代码更改到其他站点，它会返回空数据。
我已经简化了我的代码并让它爬取了这个示例的 SO 问题。
以下工作正常：
var Xray = require('x-ray');
var x = Xray();
x('http://stackoverflow.com/questions/9202531/minimizing-nexpectation-for-a-custom-distribution-in-mathematica', '#content', [{
title: '#question-header h1',
question: '.question .post-text'
}])
(function(err, obj) {
console.log(err);
console.log(obj);
})
这也有效：
var Xray = require('x-ray');
var x = Xray();
x('http://stackoverflow.com/questions', '#questions .question-summary .summary', [{
title: 'h3',
question: x('h3 a@href', '#content .question .post-text'),
}])
(function(err, obj) {
console.log(err);
console.log(obj);
})
但这给了我空的细节结果，我不知道出了什么问题：
var Xray = require('x-ray');
var x = Xray();
x('http://stackoverflow.com/questions', '#questions .question-summary .summary', [{
title: 'h3',
link: 'h3 a@href',
details: x('h3 a@href', '#content', [{
title: 'h1',
question: '.question .post-text',
}])
}])
(function(err, obj) {
console.log(err);
console.log(obj);
})
我希望我的蜘蛛抓取包含列出问题的页面，然后点击每个问题的链接并检索其他信息。
【问题讨论】：
-
可以在这里找到一些与这个问题相关的答案：[x-ray scraping secondary urls related question](stackoverflow.com/questions/39609440/…)
标签： javascript node.js web-scraping web-crawler x-ray