【发布时间】:2018-08-06 01:14:39
【问题描述】:
我最近通过Heroku成功部署了一个node.js服务器,机器可以在这里找到:https://congress-tracker-app.herokuapp.com/
它基本上是与 Twitter 的 API 通信,每次它从我的预定义参数集中接收一条推文时更新一个 .csv 文件——在本例中,是推文的 ID。然后我使用 D3.js 显示该 CSV 以可视化数据。
正在使用 D3 javascript 库提取数据...
d3.queue().defer(d3.csv, "public/data/twitterData.csv").await(update)
然后将数据传递给更新回调函数,并创建我的可视化。
我有两个问题:
我无法让应用程序在后台运行,当网页未打开时,AKA 仍会更新 CSV。我希望 Twitter API 继续与我的应用程序通信,因此数据会随着时间的推移而积累,而无需有人保持页面打开。它是通过 Twitter 的流 API 获取的。
重新加载应用程序会导致我的 CSV 清除回标题下的单行数据,这是我在初始构建中输入的。此外,当我将文件克隆到桌面时,公用文件夹中的 CSV 不会显示从 Twitter 获取的任何新数据。
在 Heroku 应用页面上,我的日志显示正在添加数据。出现“文件已保存”消息,当 fs.appendFile 在我的 CSV 中添加一行时,我在代码中触发了该消息。这是消息:
如您所见,CSV 文件位于我的应用程序的公共文件夹中。如何确保在应用退出后 1) 服务器继续运行并 2) 保存对我的 CSV 所做的更改?
这是我的部分代码:
var param = {follow: '21111098,958191744683782144,18061669,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,968650362,343041182,5558312,111671288,476256944,378631423,803694179079458816,30354991,224285242,45645232,235217558,20879626,150078976,278124059,102477372,249787913,381577682,15324851,435500714,823302838524739584,20597460,555355209,15745368,229966028,3001665106,2863210809,1397501864,78403308,253252536,47747074}
var followIds = ['21111098','958191744683782144','18061669','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','968650362','343041182','5558312','111671288','476256944','378631423','803694179079458816','30354991','224285242']
twitterClient.stream('statuses/filter',param,function(stream) {
stream.on('data', function(tweet) {
const fields = ["name","text","URL","time"]
for(i = 0; i <followIds.length; i++){
if(followIds[i] == tweet.user.id_str){ // if so, get contents
// WRITE TO CSV HERE:
let name = tweet.user.name;
let text = tweet.text;
let URL = `https://twitter.com/${tweet.user.screen_name}/status/${tweet.id_str}`
let time = tweet.created_at;
update = [{name,text,URL,time}]
var toCsv = {
data: update,
fields: fields,
hasCSVColumnTitle: false
};
var csv = json2csv(toCsv) + "\r\n";
fs.appendFile('public/data/twitterData.csv',csv,function(err){
if (err) throw err;
console.log('File Saved')
})
}
}
});
【问题讨论】:
标签: javascript node.js api heroku twitter