简单快速的读取过程

Question

我想从非常慢的设备（读取速度=1Mo/s）上的文件中解压缩数据。解压算法至少可以达到这个速度的三倍。 在 C/C++ 中并行化这些任务的最快方法是什么，这样读取过程不会因解压而减慢，从而使用最大带宽。

我已经用普通管道尝试了两个线程。但我不知道这是否是最好的解决方案。至少它不是零拷贝算法。 我当前的算法是错误的，因为我无法成功在管道上执行阻塞 IO。 （试过 fcntl 或 fread/fdopen）

我的无与伦比的程序非常简单。类似的东西

while(remainingToRead > 0){
    int nb = fread(buffer, 1, bufferSize);
    decompress(buffer, nb, bufferOut);
    nb -= remainingToRead
}

Answer 1

这里的一个解决方案是使用单独的线程来读取和解压缩并使用两个缓冲区，以便这些操作可以重叠。

伪代码：

阅读线程：

while (not finished)
{
    while (no buffers free)
        wait on condition variable
    fill next buffer
    mark buffer in use
    set condition variable for decompression thread
}

解压线程：

while (not finished)
{
    while (no buffers full)
        wait on condition variable
    decompress next buffer
    mark buffer free
    set condition variable for read thread
}

请注意，要使其正常工作涉及正确处理大量细节 - 多线程编程总是很棘手。