【发布时间】:2016-03-18 10:20:09
【问题描述】:
我使用这个基于节点的网络爬虫。 https://github.com/lapwinglabs/x-ray
我必须在我的热量中做node test.js。我如何从客户端运行它?例如从客户端发送 ajax 请求并进行抓取。
【问题讨论】:
标签: javascript node.js web-scraping
我使用这个基于节点的网络爬虫。 https://github.com/lapwinglabs/x-ray
我必须在我的热量中做node test.js。我如何从客户端运行它?例如从客户端发送 ajax 请求并进行抓取。
【问题讨论】:
标签: javascript node.js web-scraping
您可以使用 express 创建端点。例如,您可以创建这样的东西 -
var Xray = require('x-ray');
var x = Xray();
var express = require('express');
var app = express();
app.get('/webscrape', function(req, res) {
var url = req.query.url;
x(url, 'li.group', [{
title: '.dribbble-img strong',
image: '.dribbble-img [data-src]@data-src',
}])
.paginate('.next_page@href')
.limit(3)
.write('results.json')
res.end();
})
app.listen(3000);
您只需将 url 作为查询参数传递给 -
http://localhost:3000/webscrape?url=https://dribbble.com
您可以了解更多关于快速路线here
如果你想从浏览器运行你的test.js,你可以看看优秀的Browserify npm 模块。
【讨论】: