转换文件全文nodejs

Question

我正在使用 NodeJS 构建一个网站，该网站要求上传数据文件，然后我必须检查并（如果需要）转换该文件的内容。

源文件是 JSON 或 XML 配置文件，我只需要确保其内容格式正确，适用于应用程序的其余部分。

我想知道检查全局文件内容的最佳方法是什么。

我通常使用 Streams 来操作文件，但我不确定它是否允许我做我想做的事...

源文件格式类似：

{
    "parameters": [{
        "name": "name",
        "settings": {
            "key": "value"
        }
    }],
    "data": [{
        "id": "1",
        "label": "label 1",
    }, {
        "id": "2",
        "label": "label 2"
    }]
}

我需要做的是解析文件的内容，并检查文件格式是否正确； 否则将文件转换为格式良好的文件：

// Read the file content

var parameters = [],
    data = [],
    p = parameters.length,
    d = data.length;

// Loop on the parameters, and check the format
while (p--) {
    var parameter = parameters[p];

    if (name in parameter && typeof parameter.name == "string") {
        // Add several rules

        parameters.push(parameter);
    }
}

// Do a similar control for "data".

// Then save the well-formatted parameters and data into a file

问题是上传的文件可能非常大... 我可以使用 transform Streams 执行它吗？因为我需要将文件的全部内容作为对象检查！ 例如，我如何确定 Stream 转换器不会提供仅包含部分数据的块？

Answer 1

我会先尝试这样的事情：

var fs = require('fs');

try {
    var inputFile = require('./config.json');
} catch (e) {
    console.log(e.message);  // Do proper error handling.
}

// Loop on the parameters, and check the format
if (!'parameters' in inputFile) {
    console.log("Got a problem here!");
}

var parameters = [];
var p = inputFile['parameters'].length;

while(p--) {
    var parameter = inputFile['parameters'][p];

    if ('name' in parameter && typeof parameter.name == 'string') {
        // Add several rules
        parameters.push(parameter);
    }
}

// Do a similar control for "data".
var data = inputFile['data'];
// More code needed here...

// Then save the well-formatted parameters and data into a file
fs.writeFileSync('./data.json', JSON.stringify({parameters: parameters, data: data}, null, 4) , 'utf-8');

如果您正在处理无法放入内存的庞大文件，那么您将面临一项艰巨无比的任务。一般来说，你不能保证部分读取会给你足够的 JSON 来解析任何内容（例如{"data": ["<FOUR PETABYTE STRING>"]}）。