为什么 promisify 会导致循环花费更长的时间？

Question

我有一个应用程序，它必须从视频中提取颜色信息，它通过分析每一帧来做到这一点。首先，我提取帧，然后将它们的位置数组加载到内存中。正如您可能想象的那样，即使是一个小视频也可能有数千个。

我用来提取每个帧颜色信息的函数是一个承诺，所以我选择使用 Promise.all 批量处理一组承诺

对于每个文件的绝对路径，我使用fs 读取文件，然后将其传递以进行处理。我已经使用许多独立图像完成了此操作，并且知道该过程只需要大约一秒钟，但突然间处理一张图像需要将近 20 分钟。我终于发现在fs.readFile 上使用promisify 是导致瓶颈的原因。我不明白为什么？

在第一个中，fs.readFile 在返回的 promise 内部进行了转换，而在第二个中，fs.readFile 只是正常使用，我等待调用 resolve。我不介意使用 non-promise 的，我只是好奇为什么这会导致这么慢？

在我停止使用promisify 的那一刻，应用程序速度恢复到 1 帧/秒

慢代码：

   async analyzeVideo(){
    await this._saveVideo();
    await this._extractFrames();
    await this._removeVideo();

    const colorPromises = this.frameExtractor.frames.map(file => {
      return new Promise(resolve => {
        //transform image into data
        const readFile = promisify(fs.readFile);
        readFile(file)
            .then(data => {
              const analyzer = new ColorAnalyzer(data);
              analyzer.init()
                  .then(colors => {
                    resolve(colors)
                  })
            })
            .catch((e)=> console.log(e));
      })
    });
    const colors = await runAllQueries(colorPromises);

    await this._removeFrames();

    this.colors = colors;

    async function runAllQueries(promises) {
      const batches = _.chunk(promises, 50);
      const results = [];
      while (batches.length) {
        const batch = batches.shift();
        const result = await Promise.all(batch)
            .catch(e=>console.log(e));
        results.push(result)
      }
      return _.flatten(results);
    }
  }

快速代码：

async analyzeVideo(){
    await this._saveVideo();
    await this._extractFrames();
    await this._removeVideo();
    const colorPromises = this.frameExtractor.frames.map(file => {
      return new Promise(resolve => {
        //transform image into data
        fs.readFile(file, (err, data) => {
          const analyzer = new ColorAnalyzer(data);
          analyzer.init()
              .then(colors => {
                resolve(colors)
              })
        });
      })
    });
    const colors = await runAllQueries(colorPromises);

    await this._removeFrames();

    this.colors = colors;

    async function runAllQueries(promises) {
      const batches = _.chunk(promises, 50);
      const results = [];
      while (batches.length) {
        const batch = batches.shift();
        const result = await Promise.all(batch)
            .catch(e=>console.log(e));
        results.push(result)
      }
      return _.flatten(results);
    }
  }

Answer 1

您不需要在每次循环迭代中promisify，只需在模块顶部执行一次即可。

问题很可能是由从未解决的 Promise 引起的。您没有正确处理错误，因此如果抛出错误，Promise.all 可能永远无法完成。

除了在.catch 中记录错误之外，您还必须在reject 中记录错误，或者如果您不关心错误，至少要在resolve 中记录。 analyzer.init() 错误也没有被捕获（如果该函数可以拒绝）

const readFile = promisify(fs.readFile);
// ...

const colorPromises = this.frameExtractor.frames.map(file => {
   return new Promise((resolve, reject) => {
        //transform image into data
        // const readFile = promisify(fs.readFile);
        readFile(file)
            .then(data => {
              const analyzer = new ColorAnalyzer(data);
              return analyzer.init()   
            })
            .then(resolve) // colors
            .catch((e)=> { 
              reject(e);
              console.log(e)
            });
      })
})

---

除了runAllQueries 没有做你认为它正在做的事情。你已经执行了所有的承诺。

我建议你改用p-limit

const pLimit = require('p-limit');

const limit = pLimit(50);

/* ... */

const colorPromises = this.frameExtractor.frames.map(file => {
   return limit(() => {
        return readFile(file)
            .then(data => {
              const analyzer = new ColorAnalyzer(data);
              return analyzer.init()   
            })
            .then(resolve) // colors
    })
})

const colors = await Promise.all(colorPromises);

此外，如果您一次执行 50 次读取，则应增加 UV_THREADPOOL_SIZE 的值，默认为 4。

在您的入口点，在任何要求之前：

process.env.UV_THREADPOOL_SIZE = 64 // up to 128

或者调用脚本为：UV_THREADPOOL_SIZE=64 node index.js