使用缓冲区和流写入数据

Question

我需要一个 node.js 程序来执行以下操作 我有一个巨大的 JSON 数据，其中有数千条记录，我需要使用流复制到另一个文件。但是有 3 个键值对，但我只需要复制一个键值（即）我有 name、age 和 city，但我在另一个文件中只需要 json 记录的名称。

如果有其他选择，你能建议我吗？而且文件太大，包含数千条记录。

样本数据作为

[  
   {  
      "name":"John",
      "age":31,
      "city":"New York"
   },
   {  
      "name":"vamsi",
      "age":31,
      "city":"New York"
   },
   {  
      "name":"loga",
      "age":31,
      "city":"New York"
   },
   {  
      "name":"krishna",
      "age":31,
      "city":"New York"
   },
   {  
      "name":"kishore",
      "age":31,
      "city":"New York"
   },
   {  
      "name":"reddy",
      "age":31,
      "city":"New York"
   }
]

Answer 1

应该很容易使用流：

首先安装一些用于流式传输 JSON 和转换的模块

npm install --save JSONStream scramjet

然后编写代码：

const scramjet = require("scramjet");
const fs = require("fs");
const JSONStream = require("JSONStream")

fs.createReadStream(filename)             // open the file
    .pipe(JSONStream.parse('*'))          // parse JSON array to object stream
    .pipe(new scramjet.DataStream)        // pipe for transformation
    .map(({name}) => name)                 // extract "name" field from each object
    .toJSONArray()                        // create an array stream
    .pipe(fs.createWriteStream(outname)); // write to output.

查看文档了解更多信息：

• JSON Stream
• Scramjet
• Node.js Streams