【问题标题】:Unable to inflate a buffer deflated with java.util.zip.Deflater using Apache MINA compression filter无法使用 Apache MINA 压缩过滤器对使用 java.util.zip.Deflater 放气的缓冲区进行充气
【发布时间】:2011-04-04 07:43:04
【问题描述】:

本次测试:

import java.util.zip.Deflater;
import org.apache.mina.core.buffer.IoBuffer;
import org.apache.mina.filter.support.Zlib;
import org.junit.*;

public class ZlibTest {
    private Deflater deflater = null;

    private Zlib inflater = null;

    @Before
    public void setUp() throws Exception {
        deflater = new Deflater(Deflater.BEST_COMPRESSION);
        deflater.setStrategy(Deflater.DEFAULT_STRATEGY);
        inflater = new Zlib(Zlib.COMPRESSION_MAX, Zlib.MODE_INFLATER);
    }

    @Test
    public void testInflate() throws Exception {
        byte[] compressed = new byte[14];
        deflater.setInput(new byte[] {1});
        deflater.finish();
        int bytesCompressed = deflater.deflate(compressed);
        IoBuffer compressedBuffer = IoBuffer.wrap(compressed, 0, bytesCompressed);
        System.out.println(compressedBuffer);

        IoBuffer byteUncompressed = inflater.inflate(compressedBuffer);
    }
}

失败:

java.io.IOException: Unknown error. Error code : 1
    at org.apache.mina.filter.support.Zlib.inflate(Zlib.java:136)
    at ZlibTest.testInflate(ZlibTest.java:29)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:44)
    at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:15)
    at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:41)
    at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:20)
    at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:28)
    at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:31)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:73)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:46)
    at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:180)
    at org.junit.runners.ParentRunner.access$000(ParentRunner.java:41)
    at org.junit.runners.ParentRunner$1.evaluate(ParentRunner.java:173)
    at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:28)
    at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:31)
    at org.junit.runners.ParentRunner.run(ParentRunner.java:220)
    at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:46)
    at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)

这里出了什么问题?

更新:如果我添加

        case JZlib.Z_STREAM_END:

Zlib.java 的第 139 行,它可以正常解码。

【问题讨论】:

  • 您使用的是什么版本的 mina? IoBuffer 类在 2.0.2 中,但没有 filter.support.Zlib 类。 mina-filter-compression-2.0.2.jar 显示 filter.compression.Zlib(根据 Eclipse 不可见)。
  • 实际上,我复制了 Zlib 的源代码进行测试(因为它不是公开的)。刚刚从svn.apache.org/viewvc/mina/trunk/mina-filter-compression/src/… 重新检查了最新版本,没有任何区别。

标签: java zlib apache-mina jzlib


【解决方案1】:

关于http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4255743(著名的,13 岁的 bug - 如果它是我的孩子很快就会上高中),修复已在 Java 7 中交付(终于);确实,有一个

public int deflate(byte[] b, int off, int len, int flush) {
    if (b == null) {
        throw new NullPointerException();
    }
    if (off < 0 || len < 0 || off > b.length - len) {
        throw new ArrayIndexOutOfBoundsException();
    }
    synchronized (zsRef) {
        ensureOpen();
        if (flush == NO_FLUSH || flush == SYNC_FLUSH ||
            flush == FULL_FLUSH)
            return deflateBytes(zsRef.address(), b, off, len, flush);
        throw new IllegalArgumentException();
    }
}

添加到 Deflater 类的代码部分。所以今天(2012 年),如果你只需要 java.util 的功能,你就可以坚持使用。

【讨论】:

    【解决方案2】:

    您选择了导致创建 JZlib 的 Java Deflater 类的“设计选择” - 您无法控制 zlib 的 FLUSH 参数。

    Deflater 类对 {1} 的单字节数组的输出:

    [0] 120 
    [1] -38 
    [2] 99  
    [3] 4   
    [4] 0   
    [5] 0   <<
    [6] 2   <<
    [7] 0   <<
    [8] 2   <<
    

    为 {1} 的一字节数组放气时 Zlib 类的输出:

    [0] 120 
    [1] -38 
    [2] 98  
    [3] 4   
    [4] 0   
    [5] 0   <<
    [6] 0   <<
    [7] -1  <<
    [8] -1  <<
    

    来自Zlib manual

    如果参数flush设置为 Z_SYNC_FLUSH,所有挂起的输出是 刷新到输出缓冲区和 输出在字节边界上对齐, 这样解压器就可以得到所有 迄今为止可用的输入数据。 (在 之后的特定avail_in 为零 如果有足够的输出空间,则调用 通话前提供。)冲洗 可能会降低某些人的压缩率 压缩算法等等 应仅在必要时使用。 这完成了当前的放气 阻塞并在其后面加上一个空 存储的块是三位加 填充位到下一个字节,跟随 四个字节 (00 00 ff ff).

    来自JZlib - Why JZlib?

    Java Platform API 提供包 'java.util.zip.*' 用于访问 zlib,但这种支持非常有限 如果需要用到精华 兹库。例如,我们需要完整 访问zlib以添加数据包 对纯 Java SSH 的压缩支持 系统,但它们对我们毫无用处 要求。 ...

    实现这一点 功能,Z_PARTIAL_FLUSH 必须使用 zlib 的模式,但是 JDK 不允许我们这样做。它似乎 这个问题已经众所周知 并且已经有人举报了 到 JavaSoft 的 BugParade(例如, BugId:4255743),但任何正面的 没有返回响应 JavaSoft,所以不会出现这个问题 永远解决了。这是我们的动力 破解 JZlib。

    【讨论】:

      【解决方案3】:

      我不会假设 Zlib 和 Inflater/deflater 使用相同的数据协议来发送数据。他们可能使用相同的底层压缩,但我怀疑 Zlib 期望流包含自己使用的信息,而不仅仅是原始数据。


      Deflater deflater = new Deflater(Deflater.BEST_COMPRESSION);
      deflater.setStrategy(Deflater.DEFAULT_STRATEGY);
      
      byte[] compressed = new byte[10];
      deflater.setInput(new byte[]{1});
      deflater.finish();
      int bytesCompressed = deflater.deflate(compressed);
      System.out.println("bytesCompressed=" + bytesCompressed + " " + Arrays.toString(compressed));
      
      Inflater inflater = new Inflater();
      inflater.setInput(compressed, 0, bytesCompressed);
      byte[] decompressed = new byte[2];
      int byteDecompressed = inflater.inflate(decompressed);
      
      System.out.println("bytesInflated=" + byteDecompressed + " " + Arrays.toString(decompressed));
      

      打印

      bytesCompressed=9 [120, -38, 99, 4, 0, 0, 2, 0, 2, 0]
      bytesInflated=1 [1, 0]
      

      【讨论】:

      • Deflater 的文档明确指出“压缩数据将以 ZLIB 格式生成”(download.oracle.com/javase/6/docs/api/java/util/zip/…)。
      • 正如我所说,它们使用相同的底层格式。但他们可能不会以完全相同的方式使用它们。如果这些是相同的,为什么 MINA 会有一个单独的类呢?
      • java.util.zip.* 只是原生 zlib 的一个包装器(参见 kickjava.com/src/java/util/zip/Deflater.java.htm)(我可以检查使用 Erlang 的 zlib 模块压缩数据会产生与 Deflater 相同的结果)。 JZlib 页面说“不用说,JZlib 可以膨胀数据,而 zlib 会压缩数据”。所以它似乎一定是 JZlib 中的一个错误,或者我以某种方式滥用它。
      猜你喜欢
      • 1970-01-01
      • 2017-01-13
      • 2012-08-21
      • 1970-01-01
      • 2011-04-10
      • 2012-12-09
      • 2016-03-15
      • 2015-02-27
      • 2016-07-05
      相关资源
      最近更新 更多