iOS 图像处理（失真）

Question

我最初考虑 CoreImage 来处理这个问题（因为我还需要进行面部识别），但我意识到，不幸的是，iPhone 上还没有包含 CI 失真过滤器。

我尝试深入研究 GLImageProcessing、CImg 和 ImageMagick，尽管我在寻找学习其中任何一个起点时遇到了很多麻烦。

鉴于存在图像失真的应用程序数量众多，我知道这不会非常困难。

我不会 C 或 C++，除非绝对必要，否则我没有时间学习这些语言。如果其中一个库是处理此任务的权威库，则将变得有必要。

有没有人使用过这些库？

有专门针对 iOS5 的书籍吗？

我找到的资源：

• GLImageProcessing 示例项目 https://developer.apple.com/library/ios/#samplecode/GLImageProcessing/Introduction/Intro.html

• ImageMagick 和 MagickWand http://www.imagemagick.org/script/magick-wand.php

• CImg http://cimg.sourceforge.net/

• 简单的 iPhone 图像处理 http://code.google.com/p/simple-iphone-image-processing/

Answer 1

正如您所说，Core Image 目前的功能在 iOS 上有点受限。特别是，缺少像您在桌面上发现的自定义内核令人失望。您列出的其他替代方案（GLImageProcessing 除外，它不能进行这种过滤）都是受 CPU 限制的库，对于在移动设备上进行实时过滤来说太慢了。

但是，我可以为您指出一个名为 GPUImage 的开源框架，我刚刚推出了该框架，因为我找不到可以让您实现自定义效果的东西。顾名思义，GPUImage 使用 OpenGL ES 2.0 着色器对静止图像和视频进行 GPU 加速处理。您可以使用这些编写自己的自定义效果，因此您应该能够做任何您能想到的事情。该框架本身是 Objective-C，并且具有相当简单的界面。

作为失真过滤器的示例，以下着色器（基于Danny Pflughoeft's answer 中的代码）会产生一种鱼眼效果：

varying highp vec2 textureCoordinate;
uniform sampler2D inputImageTexture;

const mediump float bulgeFactor = 0.5;

void main()
{
    mediump vec2 processedTextureCoordinate = textureCoordinate - vec2(0.5);
    mediump float radius = processedTextureCoordinate.x * processedTextureCoordinate.x + processedTextureCoordinate.y * processedTextureCoordinate.y;
    mediump vec2 distortedCoordinate = vec2(pow(radius, bulgeFactor)) * processedTextureCoordinate + vec2(0.5);

    gl_FragColor = texture2D(inputImageTexture, distortedCoordinate);
}

这会对视频流产生这种效果：

在我的基准测试中，GPUImage 在 iPhone 4 上处理图像的速度比 Core Image 快 4 倍（比 CPU 密集型处理快 6 倍），视频处理速度比 Core Image 快 25 倍（比 CPU 快 70 倍）。即使在最坏的情况下，它的处理速度也与 Core Image 相匹配。

这个框架还是相当新的，所以我现在拥有的库存过滤器数量很少，但我很快就会添加更多。同时，您可以编写自己的自定义失真着色器来处理您的图像，并且所有内容的源代码都可供您根据需要进行调整。 My introductory post about it 有更多关于如何在您的应用程序中使用它的详细信息。