如何使用转换流来验证 Node.js 中的数据？答案

【问题标题】：How to use Transform stream to validate data in Node.js?如何使用转换流来验证 Node.js 中的数据？
【发布时间】：2021-02-05 10:07:04
【问题描述】：

我想将数据从可读流传输到可写流，但在两者之间进行验证。

就我而言：

可读流： http 响应作为流（Axios.post 响应作为流更具体）
可写流： AWS S3

Axios.post 响应采用 XML 格式。因此，这意味着可读流将读取表示 XML 的块。我将每个块转换为字符串并检查<specificTag>（打开）和</specificTag> 关闭是否可用。这两项检查都将在不同的或任意的块中完成。

如果两个开始/结束标签都可以，那么我必须将块传输到可写流。

我的编码是这样的：

let openTagFound: boolean: false;
let closingTagFound: boolean: false;
readableStream.pipe(this.validateStreamData()).pipe(writableStream);

我还为validateStreamData() 定义了_tranform 方法，例如：

private validateStreamData(): Transform {
  let data = '', transformStream = new Transform();
  let openTagFound: boolean = false;
  let closingTagFound: boolean = false;
  try {
    transformStream._transform = function (chunk, _encoding, done) {
      // Keep chunk in memory
      data += chunk.toString();
      if(!openTagFound) {
        // Check whether openTag e.g <specificTag> is found, if yes
        openTagFound = true;
      }
      if(!closingTagFound) {
        // parse the chunk using parser
        // Check whether closingTag e.g </specificTag> is found, if yes
        closingTagFound = true;
      }
      // we are not writing anything out at this
      // time, only at end during _flush
      // so we don't need to call push
      done();
    };
    transformStream._flush = function (done) {
      if(openTagFound && closingTagFound) {
        this.push(data);
      }
      done();
    };
    return transformStream;
  } catch (ex) {
    this.logger.error(ex);
    transformStream.end();
    throw Error(ex);
  }
}

现在，您可以看到我在以下位置使用变量 data：

// Keep chunk in memory
data += chunk.toString();

我想摆脱这个。我不想明确地使用内存。最终目标是从Axios.post 获取数据并将其传输到AWS S3，前提是我的验证成功。如果不是，那么它不应该写入 S3。

非常感谢任何帮助。

提前致谢！！！

【问题讨论】：

标签： node.js

【解决方案1】：

所以，我最后做的是，让管道结束并保留一些标志来检查它是有效还是无效，然后 on('end') 回调，如果标志说无效，则显式销毁目标对象。

【讨论】：