了解 rxjs 中的背压 - 仅缓存 5 个等待上传的图像

Question

我正在处理一个需要提交数千张图像进行处理的节点项目。在将这些图像上传到处理服务器之前，它们需要调整大小，所以我有一些类似的东西：

imageList
    .map(image => loadAndResizeImage)
    .merge(3)
    .map(image => uploadImage)
    .merge(3)
    .subscribe();

图像大小调整通常需要十分之几秒，上传和处理大约需要 4 秒。

当我等待上传队列清空时，如何防止数千张调整大小的图像堆积在内存中？我可能希望调整 5 张图片的大小并等待发送，以便在图片上传完成后立即从队列中拉出下一张调整大小的图片并上传，然后调整新图片的大小并将其添加到“缓冲区”。

可以在此处找到该问题的说明：

https://jsbin.com/webaleduka/4/edit?js,console

这里有一个加载步骤（耗时 200 毫秒）和一个处理步骤（耗时 4 秒）。每个进程的并发限制为 2。 我们可以看到，使用 25 个初始项目，我们可以在内存中获得 20 个图像。

我确实查看了缓冲区选项，但似乎都没有做我想做的事情。

目前，我刚刚将负载、调整大小和上传合并到一个延迟的 observable 中，我将它与最大并发合并。不过，我希望图像等待上传，我相信这一定是可能的。

我使用的是 RXjs 4，但我想 5 的原理是一样的。

非常感谢。

Answer 1

在 RxJS 5 中，我会这样做：

Observable.range(1, 25)
    .bufferCount(5)
    .concatMap(batch => { // process images
        console.log('process', batch);
        return Observable.from(batch)
            .mergeMap(val => Observable.of('p' + val).delay(300))
            .toArray();
    })
    .concatMap(batch => { // send images
        console.log('send batch', batch);
        return Observable.from(batch)
            .mergeMap(val => Observable.of('s' + val).delay(500))
            .toArray();
    })
    .subscribe(val => {
        // console.log('response');
        console.log('response', val);

    });

使用 bufferCount 运算符，我将输入数组拆分为 5 个项目的批次。然后首先使用第一个 concatMap() 处理每个批次（我故意使用 concat 是因为我想等到嵌套的 Observable 完成）。然后将处理后的数据发送到另一个concatMap()，然后再将其发送到您的服务器。

我正在使用两个delay() 运算符来模拟不同的任务需要不同的时间。在我们的例子中，处理图像非常快，所以第一个 concatMap 会比第二个 concatMap 更快地将它们发送到服务器，这没关系。处理后的图片会堆叠在concatMap里面，分批发送。

此演示的输出将如下所示：

process [ 1, 2, 3, 4, 5 ]
send batch [ 'p1', 'p2', 'p3', 'p4', 'p5' ]
process [ 6, 7, 8, 9, 10 ]
process [ 11, 12, 13, 14, 15 ]
response [ 'sp1', 'sp2', 'sp3', 'sp4', 'sp5' ]
send batch [ 'p6', 'p7', 'p8', 'p9', 'p10' ]
process [ 16, 17, 18, 19, 20 ]
process [ 21, 22, 23, 24, 25 ]
response [ 'sp6', 'sp7', 'sp8', 'sp9', 'sp10' ]
send batch [ 'p11', 'p12', 'p13', 'p14', 'p15' ]
response [ 'sp11', 'sp12', 'sp13', 'sp14', 'sp15' ]
send batch [ 'p16', 'p17', 'p18', 'p19', 'p20' ]
response [ 'sp16', 'sp17', 'sp18', 'sp19', 'sp20' ]
send batch [ 'p21', 'p22', 'p23', 'p24', 'p25' ]
response [ 'sp21', 'sp22', 'sp23', 'sp24', 'sp25' ]

观看现场演示：https://jsbin.com/mileqa/edit?js,console

但是，如果您想始终先处理一个批次而不是发送它，并且在发送它而不是继续另一个批次时，您必须将第二个内部 Observable 从 concatMap 移动到第一个 toArray() 的末尾concatMap() 来电。

.concatMap(batch => { // process images
    console.log('process', batch);
    return Observable.from(batch)
        .mergeMap(val => Observable.of('p' + val).delay(100))
        .toArray()
        .concatMap(batch => { // send images
            console.log('send batch', batch);
            return Observable.from(batch)
                .mergeMap(val => Observable.of('s' + val).delay(500))
                .toArray();
        });
})

观看现场演示：https://jsbin.com/sabena/2/edit?js,console

这会产生如下输出：

process [ 1, 2, 3, 4, 5 ]
send batch [ 'p1', 'p2', 'p3', 'p4', 'p5' ]
response [ 'sp1', 'sp2', 'sp3', 'sp4', 'sp5' ]
process [ 6, 7, 8, 9, 10 ]
send batch [ 'p6', 'p7', 'p8', 'p9', 'p10' ]
response [ 'sp6', 'sp7', 'sp8', 'sp9', 'sp10' ]
process [ 11, 12, 13, 14, 15 ]
send batch [ 'p11', 'p12', 'p13', 'p14', 'p15' ]
response [ 'sp11', 'sp12', 'sp13', 'sp14', 'sp15' ]
process [ 16, 17, 18, 19, 20 ]
send batch [ 'p16', 'p17', 'p18', 'p19', 'p20' ]
response [ 'sp16', 'sp17', 'sp18', 'sp19', 'sp20' ]
process [ 21, 22, 23, 24, 25 ]
send batch [ 'p21', 'p22', 'p23', 'p24', 'p25' ]
response [ 'sp21', 'sp22', 'sp23', 'sp24', 'sp25' ]

可以看到“进程”、“发送批处理”和“响应”日志是按顺序排列的。

在 RxJS 4 中的实现应该几乎相同（只是操作符名称可能略有不同）。

在 RxJS 4 中还有 controlled() operator 在 RxJS 5 中不存在（还没有？）。我可能会做一些与您需要的非常相似的事情。

Answer 2

我认为我已经设法通过使用controlled() rxjs 运算符解决了这个问题：

var queuedImages = 0;

var imageSource = Rx.Observable.range(1, 25)
  .map(index => "image_" + index)
  .controlled();

imageSource
  .map(image => loadImage(image))
  .merge(2)
  .do((image) => {
    queuedImages++;
    console.log(`Images waiting for processing: ${queuedImages}`);
  })
  .map(image => processImage(image))
  .merge(2)
  .do( () => {
    queuedImages--;
    console.log(`Images waiting for processing: ${queuedImages}`);

    if(queuedImages < 4){
      console.log(`requesting more image loads`);
      imageSource.request(4-queuedImages);
    }
  })
  .subscribe( 
    (item) => {}, null, 
    () => console.log(`All Complete`) );

imageSource.request(4);

最初需要 4 张图片。这些是从光盘加载的，然后进行处理。当每个图像被加载然后处理时，内存中的图像数量会使用queuedImages 变量进行跟踪。当此数字低于 4 时，将请求更多图像。

可以在这里看到一个 jsbin：

https://jsbin.com/webaleduka/11/edit?js,console

这种方法意味着缓存中永远不会超过6张左右的图像，并确保缓存中始终有足够的图像等待上传。