【发布时间】:2021-07-30 19:01:08
【问题描述】:
我正在进行一个抓取项目。
当我从一个站点 scrape 将所有数据发送到 JSON 时,问题是当我 scrape 另一个信息时,JSON 包含旧信息 +新的那一个。一开始我设置了data = [],但没有工作。
app.post('/scraping', function(req, res) {
(async () => {
try {
data = [];
response = await requestPromise(req.body);
$ = cheerio.load(response);
$('div#all > img').each(function() {
let img = $(this).attr('data-src');
imgs.push({
imgURL: img
});
});
data = JSON.stringify(imgs);
fs.writeFileSync('chapter.json', data);
res.redirect('/scraping');
} catch (e) {
console.error(e);
}
})();
});
【问题讨论】:
标签: node.js web-scraping