使用 OpenCV 和 Java 从 gif 帧中获取 Mats

Question

我正在尝试使用 OpenCV 从 gif 中获取帧。我找到了Convert each animated GIF frame to a separate BufferedImage 并使用了第二个建议。我稍作修改以返回一个 Mats 数组而不是 BufferedImages。

我尝试了两种方法从 gif 中获取 bufferedImages。每个都提出了不同的问题。

1. 根据上一个帖子的建议

   BufferedImage fImage=ir.read(i);
   

   程序调用“ArrayIndexOutOfBoundsException: 4096”

2. 使用上一个线程的原始代码。

   BufferedImage fImage=ir.getRawImageType(i).createBufferedImage(ir.getWidth(i),ir.getHeight(i));
   

   每一帧都是单调的颜色（虽然不是全黑），从 BufferedImage 派生的垫子是空的。

   System.loadLibrary( Core.NATIVE_LIBRARY_NAME );
   ArrayList<Mat> frames = new ArrayList<Mat>();
   ImageReader ir = new GIFImageReader(new GIFImageReaderSpi());
   ir.setInput(ImageIO.createImageInputStream(new File("ronPaulTestImage.gif")));
   
   for(int i = 0; i < ir.getNumImages(true); i++){
       BufferedImage fImage=ir.read(i);
       //BufferedImage fImage=ir.getRawImageType(i).createBufferedImage(ir.getWidth(i), ir.getHeight(i));
   
       fImage = toBufferedImageOfType(fImage, BufferedImage.TYPE_3BYTE_BGR);
       //byte[] pixels = ((DataBufferByte) r.getRaster().getDataBuffer()).getData();
       Mat m=new Mat();
       //m.put(0,0,pixels);
       m.put(0, 0,((DataBufferByte) fImage.getRaster().getDataBuffer()).getData());
   
       if(i==40){
       //a test, writes the mat and the image at the specified frame to files, exits
           ImageIO.write(fImage,"jpg",new File("TestError.jpg"));
           Imgcodecs.imwrite("TestErrorMat.jpg",m);
           System.exit(0);
   }
   

这里是gif I used

Answer 1

按照 Spektre 的建议，我找到了一个更好的 gif，它修复了单色缓冲图像。缺少可查看的 Mats 是由于我在声明 Mat 时使用了默认构造函数造成的。

工作代码

    public static ArrayList<Mat> getFrames(File gif) throws IOException{
    ArrayList<Mat> frames = new ArrayList<Mat>();
    ImageReader ir = new GIFImageReader(new GIFImageReaderSpi());
    ir.setInput(ImageIO.createImageInputStream(gif));
    for(int i = 0; i < ir.getNumImages(true); i++){
        BufferedImage fImage=ir.read(i);
        fImage = toBufferedImageOfType(fImage, BufferedImage.TYPE_3BYTE_BGR);
        byte[] pixels = ((DataBufferByte) fImage.getRaster().getDataBuffer()).getData();
        Mat m=new Mat(fImage.getHeight(), fImage.getWidth(), CvType.CV_8UC3);
        m.put(0,0,pixels);
        if(i==15){//a test, writes the mat and the image at the specified frame to files, exits
            ImageIO.write(fImage,"jpg",new File("TestError.jpg"));
            Imgcodecs.imwrite("TestErrorMat.jpg",m);
            System.exit(0);
        }
        frames.add(m);
        }
    return frames;
}

Answer 2

我没有使用 gif 库、Java 或 OpenCV 库，而是 ArrayIndexOutOfBoundsException: 4096

表示字典没有正确清除。你的 gif 是错误的，我对其进行了测试，它包含错误，某些帧没有足够的清晰代码。如果您的 GIF 解码器不检查/处理这种情况，那么它就会崩溃，因为它的字典增长超过 GIF 限制4096/12bit

尝试另一个 GIF，而不是一些错误的...

已经测试过你的 gif，每帧大约有 7 个清晰代码，总共包含 941 个错误（缺少清晰代码导致字典溢出）

如果您有 GIF 解码器的源代码

然后只需找到将新项目添加到字典并添加的解码器部分

if (dictionary_items<4096)

在它之前...如果您忽略错误的条目，图像看起来仍然可以，很可能是创建此图像的编码器没有正确编码。

Answer 3

用bytedeco opencv，获取gif第一帧的简单方法：

import java.awt.image.{BufferedImage, DataBufferByte}
import java.io.ByteArrayInputStream
import com.sun.imageio.plugins.gif.{GIFImageReader, GIFImageReaderSpi}

import javax.imageio.ImageIO
import javax.swing.JFrame
import org.bytedeco.javacv.{CanvasFrame, OpenCVFrameConverter}
import org.bytedeco.opencv.opencv_core.Mat
import org.opencv.core.CvType

def toMat(bi: BufferedImage): Mat = {
  val convertedImage = new BufferedImage(bi.getWidth(), bi.getHeight(), BufferedImage.TYPE_3BYTE_BGR)
  val graphics = convertedImage.getGraphics
  graphics.drawImage(bi, 0, 0, null)
  graphics.dispose()

  val data = convertedImage.getRaster.getDataBuffer.asInstanceOf[DataBufferByte].getData
  val mat = new Mat(convertedImage.getHeight, convertedImage.getWidth, CvType.CV_8UC3)
  mat.data.put(data: _*)

  mat
}

def show(image: Mat, title: String): Unit = {
  val canvas = new CanvasFrame(title, 1)
  canvas.setDefaultCloseOperation(javax.swing.WindowConstants.EXIT_ON_CLOSE)
  canvas.showImage(new OpenCVFrameConverter.ToMat().convert(image))
}


val imageByteArrayOfGif = Array(....) // can be downloaded with java.net.HttpURLConnection

val ir = new GIFImageReader(new GIFImageReaderSpi())
val in = new ByteArrayInputStream(imageByteArray)
ir.setInput(ImageIO.createImageInputStream(in))

val bi = ir.read(0) // first frame of gif
val mat = toMat(bi)

show(mat, "buffered2mat")