是否有任何主流压缩算法，例如snappy、zlib 或bzip 原生支持跨网络的流式数据？例如，如果我必须发送一个压缩的有效负载，那么我是否必须在发送消息之前手动添加有效负载的大小？或者是否有任何库提供 API 来判断给定 x 字节的消息是否完整？
【问题讨论】：
标签： sockets compression zlib bzip2 snappy
zlib、bzip2、lz4、zstd、brotli、lzma2 和许多其他都通过在压缩数据中使用数据结束标记来支持流式传输。
碰巧的是，您提到的其中一个 snappy 在您所要求的意义上不可流式传输，因为格式以未压缩大小开始。
【讨论】：
Zstd 可以。有一个 ZSTD_compressStream()/ZSTD_decompressStream() API。
见https://github.com/facebook/zstd/tree/dev/examples。
伪代码如下：
// Create stream
ZSTD_CStream* const cstream = ZSTD_createCStream();
// Init stream
size_t const initResult = ZSTD_initCStream(cstream, cLevel);
size_t read, toRead;
while((read = fread(buffer, 1, toRead, file)) ) {
ZSTD_inBuffer input = { buffIn, read, 0 };
// Process next chunk
while (input.pos < input.size) {
ZSTD_outBuffer output = { buffOut, buffOutSize, 0 };
// Compress Data
toRead = ZSTD_compressStream(cstream, &output , &input);
[...]
fwrite_orDie(buffOut, output.pos, fout);
}
}
ZSTD_outBuffer output = { buffOut, buffOutSize, 0 };
// End stream
ZSTD_endStream(cstream, &output);
[...]
// Free stream
ZSTD_freeCStream(cstream);
【讨论】：
还有 DEFLATE（zlib 兼容）无状态 SLZ 用于流式传输（仅压缩）到每个流的状态内存减少的许多客户端：http://www.libslz.org/“无状态 ZIP 库 - SLZ”：
SLZ 是一种快速且无内存的流压缩器，可生成可使用 zlib 或 gzip 解压缩的输出。它根本没有实现解压，zlib 非常适合这个。 目的是在需要与 zlib 兼容的流并且 zlib 的资源使用率过高而压缩比并不重要的情况下使用 SLZ。典型的用例是在 HTTP 服务器和网关中，它们必须以很少的 CPU 资源并行压缩许多流来分配给此任务，并且不必因内存使用而限制压缩率。在这样的环境下，服务器的内存使用量很容易除以 10，CPU 使用量除以 3。此外，它的高性能使其填补了网络备份应用程序的空白。
虽然 zlib 每个流使用 256 kB 的内存以及流描述符本身的几十个字节，但 SLZ 仅存储由 28 个字节组成的流描述符。因此，它特别适合需要处理数万到数十万并发流的环境。
zlib 和 SLZ 之间的主要区别在于 SLZ 是无状态的，因为它不会将先前压缩的数据视为其字典的一部分。当它以足够大的块（一次至少几个 kB）输入时，它不会损害压缩性能
【讨论】：