将逗号分隔的 JSON 转换为换行符分隔的节点

Question

我有一个 JSON 文件，我正在使用 node 读取它，将其修改并保存为 json 文件。

我希望将新的 json 保存为换行符分隔而不是保存在数组中。

我遇到了https://github.com/CrowdProcess/newline-json，但不完全理解流。如果我有以下流设置，如何通过解析器和字符串化器对其进行管道传输？

fileStream = fs.createReadStream('source.json')
writeStream = fs.createWriteStream('output.txt');

var Parser = require('newline-json').Parser;
var Stringifier = require('newline-json').Stringifier;

var parser = new Parser();
var stringifier = new Stringifier();

但运行以下只会输出一个空白文件。

fileStream.pipe(parser).pipe(stringifier).pipe(writeStream)

关于流，我缺少什么？

Answer 1

对于任何正在寻求解决方案的人将对象的 json 数组转换为 nd-json。这是解决方案：

输入：

const arrObj = [{
  id: 1,
  name: 'joe'
}, {
  id: 2,
  name: 'ben'
}, {
  id: 3,
  name: 'jake'
}, {
  id: 4,
  name: 'marsh'
}];

// stringify the object and join with \n
const ndJson = arrObj.map(JSON.stringify).join('\n');

console.log(ndJson);

输出：

{"id":1,"name":"joe"}
{"id":2,"name":"ben"}
{"id":3,"name":"jake"}
{"id":4,"name":"marsh"}

示例用例：将 bulk request 从 json 文件导入 elasticsearch 时。

快乐编码:)

Answer 2

在 node.js 中，您可以使用 node-jq 包来执行 @peak 上面显示的操作。

var stream = require('stream');
var fs = require('fs');
const jq = require('node-jq');

var fileName = 'YOUR_FILE_NAME'; //e.g abc.json
var bucketName = 'YOUR_BUCKET NAME'; // e.g gs://def
var dataStream = new stream.PassThrough();


async function formatJson() {

    jq.run('.[]', fileName, {output: 'compact'})
    .then((output) => {
        dataStream.push(output)
        dataStream.push(null)
        console.log(dataStream)    
    })
    .catch((err) => {
        console.log(err)
    })
}

formatJson()

我不是一个有经验的节点人，如果代码很笨拙但可以工作，请见谅。

Answer 3

将 JSON 数组转换为以换行符分隔的 JSON 实体流的一种方法是将 jq 与 -c 选项一起使用，例如

$ jq -c ".[]"

输入：

[[1,2], 3, {"4":5}]

输出：

[1,2]
3
{"4":5}

见https://stedolan.github.io/jq