计算文件哈希并保存文件

Question

用户将文件上传到我的快速应用程序中。我需要计算上传文件的哈希值，然后使用计算的哈希值作为文件名将文件写入磁盘。我尝试使用以下代码：

function storeFileStream(file, next) {
    createFileHash(file, function(err, hash) {
        if (err) {
            return next(err);
        }

        var fileName = path.join(config.storagePath, hash),
            stream = fs.createWriteStream(fileName);

        stream.on('error', function(err) {
            return next(err);
        });
        stream.on('finish', function() {
            return next();
        });

        file.pipe(stream);
    });
}

function createFileHash(file, next) {
    var hash = crypto.createHash('sha1');
    hash.setEncoding('hex');

    file.on('error', function(err) {
        return next(err);
    });
    file.on('end', function(data) {
        hash.end();
        return next(null, hash.read());
    });

    file.pipe(hash);
}

问题是我计算文件哈希后写入的文件大小为0。解决此任务的最佳方法是什么？

更新 根据@poke 的建议，我尝试复制我的流。现在我的代码是：

function storeFileStream(file, next) {
    var s1 = new pass;
    var s2 = new pass;
    file.pipe(s1);
    file.pipe(s2);        

    createFileHash(s1, function(err, hash) {
        if (err) {
            return next(err);
        }

        var fileName = path.join(config.storagePath, hash),
            stream = fs.createWriteStream(fileName);

        stream.on('error', function(err) {
            return next(err);
        });
        stream.on('finish', function() {
            return next();
        });

        s2.pipe(stream);
    });
}

function createFileHash(file, next) {
    var hash = crypto.createHash('sha1');
    hash.setEncoding('hex');

    file.on('error', function(err) {
        return next(err);
    });
    file.on('end', function(data) {
        hash.end();
        return next(null, hash.read());
    });

    file.pipe(hash);
}

这段代码的问题是没有发出事件end 和finish。如果我评论 file.pipe(s2); 会发出事件，但我又遇到了起源问题。

Answer 1

这段代码解决了问题：

var s1 = new passThrough,
    s2 = new passThrough;

file.on('data', function(data) {
    s1.write(data);
    s2.write(data);
});
file.on('end', function() {
    s1.end();
    s2.end();
});

Answer 2

正确简单的方法应该如下：

我们应该恢复直通的流

function storeFileStream(file, directory, version, reject, resolve) {
  const fileHashSource = new PassThrough();
  const writeSource = new PassThrough();
  file.pipe(fileHashSource);
  file.pipe(writeSource);

  // this is the key point, see https://nodejs.org/api/stream.html#stream_three_states
  fileHashSource.resume();
  writeSource.resume();

  createFileHash(fileHashSource, function(err, hash) {
    if (err) {
      return reject(err);
    }

    const fileName = path.join(directory, version + '_' + hash.slice(0, 8) + '.zip');
    const writeStream = fs.createWriteStream(fileName);

    writeStream.on('error', function(err) {
      return reject(err);
    });
    writeStream.on('finish', function() {
      return resolve();
    });

    writeSource.pipe(writeStream);
  });
}

function createFileHash(readStream, next) {
  const hash = crypto.createHash('sha1');
  hash.setEncoding('hex');

  hash.on('error', function(err) {
    return next(err);
  });
  hash.on('finish', function(data) {
    return next(null, hash.read());
  });

  readStream.pipe(hash);
}

Answer 3

您可以使用async 模块（未经测试但应该可以使用）：

async.waterfall([
    function(done) {
        var hash = crypto.createHash('sha1');
        hash.setEncoding('hex');

        file.on('error', function(err) {
            done(err);
        });
        file.on('end', function(data) {
            done(null, hash.read);
        });

        file.pipe(hash);

    },
    function(hash, done) {
        var fileName = path.join(config.storagePath, hash),
            stream = fs.createWriteStream(fileName);

        stream.on('error', function(err) {
            done(err);
        });
        stream.on('finish', function() {
            done(null);
        });

        file.pipe(stream);
    }
], function (err) {
    console.log("Everything is done!");
});