【问题标题】:Trigger node command on the client side?在客户端触发节点命令?
【发布时间】:2016-03-18 10:20:09
【问题描述】:

我使用这个基于节点的网络爬虫。 https://github.com/lapwinglabs/x-ray

我必须在我的热量中做node test.js。我如何从客户端运行它?例如从客户端发送 ajax 请求并进行抓取。

【问题讨论】:

    标签: javascript node.js web-scraping


    【解决方案1】:

    您可以使用 express 创建端点。例如,您可以创建这样的东西 -

        var Xray = require('x-ray');
        var x = Xray();
    
        var express = require('express');
        var app = express();
    
        app.get('/webscrape', function(req, res) {
            var url = req.query.url;
            x(url, 'li.group', [{
                    title: '.dribbble-img strong',
                    image: '.dribbble-img [data-src]@data-src',
                }])
                .paginate('.next_page@href')
                .limit(3)
                .write('results.json')
            res.end();
        })
        
        app.listen(3000);
    

    您只需将 url 作为查询参数传递给 -

    http://localhost:3000/webscrape?url=https://dribbble.com
    

    您可以了解更多关于快速路线here

    如果你想从浏览器运行你的test.js,你可以看看优秀的Browserify npm 模块。

    【讨论】:

    • 我不明白为什么我需要browserfiy,我明白这种用法的表达。
    猜你喜欢
    • 2017-01-19
    • 2018-04-27
    • 1970-01-01
    • 2015-12-22
    • 1970-01-01
    • 1970-01-01
    • 2015-09-15
    • 1970-01-01
    • 2017-11-17
    相关资源
    最近更新 更多