Node.js：使用异步库并行运行两个任务，前两个完成后的最后一个任务答案

【问题标题】：Node.js: using async library to run two tasks in parallel and the last task when the first two are doneNode.js：使用异步库并行运行两个任务，前两个完成后的最后一个任务
【发布时间】：2015-07-18 10:52:28
【问题描述】：

场景

需要并行运行两个任务，在firstTask && secondTask完成后运行第三个任务。一直在使用async 库并且代码有效，但想知道我的代码是否有什么可以改进的地方。

详情

任务 1：readFileNames：读取一个文件夹并返回一个文件名数组。

任务 2：copyFile：将config 文件从 src 文件夹复制到目标文件夹。

任务 3：writeConfig：将readFileNames 的结果写入位于destination 文件夹的config 文件中。

问题

我应该将parallel 控制流与eachSync 结合起来吗？另外，想知道承诺是否会帮助我实现我想要做的事情？哪种方法在性能方面更好？ Async vs Q 还是应该使用更抽象的库，例如 orchestrator？

以下是我目前所拥有的，它可以工作，但想知道是否有更好的方法：

代码

var async = require("async");
var fs = require("fs-extra");
var dir = require("node-dir");
var path = require("path");
var _ = require("underscore");

var readFileNames = function (src, cb) {
  dir.files(src, function (err, files) {
    if (err) { return cb(err); }
    return cb(files);
  });
};

var copyFile = function (src, dest, cb) {
  fs.copy(src, dest, function (err) {
    if (err) { return cb(err); }
    return cb();
  });
};

var writeConfig = function (destFile, content, cb) {
  fs.appendFile(destFile, content, function (err) {
    if (err) { return cb(err); }
    return cb();
  });
};

var modulesFolder = path.join(__dirname, "modules");
var srcFile = path.join(__dirname, "src", "config.json");
var destFile = path.join(__dirname, "dest", "config.json");

async.parallel(
  [
    function (callback) {
      readFileNames(modulesFolder, function (files) {
        callback(null, files);
      });
    },
    function (callback) {
      copyFile(srcFile, destFile, function () {
        callback(null, "");
      });
    }
  ],
  // last callback
  function (err, results) {
    var toWrite = _.flatten(results);
    toWrite.forEach(function (content) {
      if(content) {
        writeConfig(destFile, content + "\n", function () {
        });
      }
    });
    console.log("done");
  }
);

文件

├── dest
├── main.js
├── modules
│   ├── module1.txt
│   └── module2.txt
├── node_modules
│   ├── async
│   ├── fs-extra
│   └── node-dir
├── package.json
└── src
    └── config.json

【问题讨论】：

更优雅究竟是什么意思？或者，“某种作品”，它要么有效，要么无效。如果它没有为您提供所需的输出，请向我们展示它为您提供的输出以及您想要的示例。
刚刚更新了问题。代码有效，但我想知道是否有一种模式可以做我想要实现的目标。我对节点模式没有太多经验，这就是我发布这个问题的原因。
我认为您没有理由使用 eachSync。但是，async.eachSeries 将适用于代替 toWrite.forEach，因为 writeConfig 是异步的。

标签： javascript node.js async.js

【解决方案1】：

您对async.parallel() 的使用对我来说看起来不错，如果它完成了工作，那么您就完成了。关于性能，您是否将所有可以并行完成的任务并行化？你的磁盘 IO 有多快？这些问题比您选择使用哪个 async/promise 库更重要。

话虽如此，与 async 相比，像 Q 这样的 promise 库通常会减慢一些速度，因为它们往往会在并非绝对必要的时候执行 process.nextTick，但这种性能下降非常小。在绝大多数情况下，性能问题不应决定您对 async/promise 库的选择。

【讨论】：

【解决方案2】：

我一直在使用异步库并且代码可以工作，但想知道我的代码是否有什么可以改进的地方。

您使用了太多匿名函数表达式。只需传递您收到的callback！所有这些辅助函数（包括命名的）都是多余的。

另外，您的 readFileNames 函数不遵循节点回调约定。我假设您不打算将错误写入结果文件？

您的最终回调也会忽略错误。

我应该将并行控制流与 eachSync 结合起来吗？

我猜你的意思是eachSeries，而不是eachSync？是的，如果您希望 appendFile 调用无论如何都会链接，那将是合理的。但是您也可以再次使用parallel，这与您当前正在使用的.forEach 更密切相关。但以防万一，您应该使用async 迭代方法，因为目前您登录"done" 太早了。

宁可这样做

var async = require("async");
var fs = require("fs-extra");
var dir = require("node-dir");
var path = require("path");

var modulesFolder = path.join(__dirname, "modules");
var srcFile = path.join(__dirname, "src", "config.json");
var destFile = path.join(__dirname, "dest", "config.json");

async.parallel([
  function (callback) {
    dir.files(modulesFolder, callback);
  },
  function (callback) {
    fs.copy(srcFile, destFile, callback);
  }
], function(err, results) {
  if (err)
    return console.error(err);
  var toWrite = results[0] // ignore the result of the copy action
  async.eachSeries(toWrite, function(content, callback) {
    // if(content) not sure if needed at all
      fs.appendFile(destFile, content + "\n", callback);
  }, function(err) {
    if (err)
      return console.error(err);
    console.log("done");
  });
});

另外，想知道 promises 是否能帮助我实现我想要做的事情？

是的，他们也可以这样做，而且可能更容易和更直接（如果您习惯了他们的话）。它们还会大大简化错误处理。

哪种方法在性能方面更好？

两者都没有。这个小脚本的性能受系统的 IO 能力和算法使用的并行化程度的限制。这可以通过任一库来实现。

【讨论】：