【问题标题】:how to store data from .write x-ray to mongodb or firebase如何将数据从 .write x-ray 存储到 mongodb 或 firebase
【发布时间】:2017-04-29 09:47:44
【问题描述】:

我正在寻找一种在使用 xray 抓取数据后使用 mongoose 将数据写入 firebase 或 mongodb 的方法。 我的代码类似于下面的示例,我只需要将其插入到 mongoose 而不是 localhost 上的 result.json。 如果有办法执行此操作,firebase 也是另一种选择

var Xray = require('x-ray');
var x = Xray();

x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])
  .paginate('.nav-previous a@href')
  .limit(3)
  .write('results.json')

谢谢你

【问题讨论】:

标签: mongodb firebase mongoose screen-scraping x-ray


【解决方案1】:

您可以在回调函数中使用mongoose将传递object的结果保存到数据库中

var Xray = require('x-ray');
var x = Xray();

x('https://blog.ycombinator.com/', '.post', [{
  title: 'h1 a',
  link: '.article-title@href'
}])
  .paginate('.nav-previous a@href')
  .limit(3)

  (function(error, object){        // callback
  if (error) {
    console.log(error)
  }else {
    console.log('result is: ')
    console.log(object);           // object is what you want to save
  }
})

【讨论】:

    猜你喜欢
    • 2017-03-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-03-02
    • 2020-12-18
    相关资源
    最近更新 更多