python-pillow中内核大小大于5x5的卷积

Question

我想在 python-pillow 中使用简单的卷积核过滤图像。但是，为了达到最佳效果，我需要一个 9x9 内核。这是枕头中的not possible，至少在使用ImageFilter.Kernel 和内置的filter() 方法时，它们仅限于5x5 内核。

没有实现我自己的卷积代码，有没有办法过滤/卷积内核大小大于 5x5 的图像？

Answer 1

看到 PIL 不支持超过 5 x 5 的内核，我感到非常惊讶。因此，谨慎的做法是查看其他 Python 包，例如 OpenCV 或 scipy... 为了节省时间，我们使用 scipy。尽管 OpenCV 非常强大，但配置起来很麻烦。

我建议使用scipy 使用ndimage 包中的imread 加载映像，将映像与内核进行卷积，然后在完成后转换为PIL 映像。使用ndimage 包中的convolve，然后通过Image.fromArray 转换回PIL 图像。它确实支持转换 numpy.ndarray（这是您使用 scipy.ndimage.imread 时加载的内容），这很棒。

类似这样，假设一个 9 x 9 平均滤波器：

# Import relevant packages
import numpy as np
from scipy import ndimage
from PIL import Image

# Read in image - change filename to whatever you want
img = ndimage.imread('image.jpg')

# Create kernel
ker = (1/81.0)*np.ones((9,9))

# Convolve
out = ndimage.convolve(img, ker)

# Convert back to PIL image
out = Image.fromArray(out, 'RGB')

Answer 2

pyvips 是另一种选择，如果您不依赖于枕头、numpy 或 scipy。它的速度要快得多，并且需要的内存要少得多，尤其是对于较大的图像。它也会击败 opencv，at least on some benchmarks。

我在这台笔记本电脑上试过：

import sys
import numpy as np
from scipy import ndimage
from PIL import Image

img = ndimage.imread(sys.argv[1])
ker = (1 / 81.0) * np.ones((9, 9))
out = ndimage.convolve(img, ker)
out = Image.fromarray(out)
out.save(sys.argv[2])

我可以这样运行：

$ /usr/bin/time -f %M:%e ./try257.py ~/pics/wtc-mono.jpg x.jpg
300352:22.47

因此，在 2015 i5 笔记本电脑上制作 10k x 10k 像素的单声道 jpg 大约需要 22 秒，并且需要 300mb 的峰值内存。

在 pyvips 中是：

import sys
import pyvips

im = pyvips.Image.new_from_file(sys.argv[1], access="sequential")
size = 9
kernel = size * [size * [1.0 / (size * size)]]
im = im.conv(kernel)
im.write_to_file(sys.argv[2])

我明白了：

$ /usr/bin/time -f %M:%e ./try258.py ~/pics/wtc-mono.jpg x.jpg
44336:4.76

大约 5 秒和 45mb 的内存。

这是一个浮点卷积。您可以像这样将其交换为 int 精度：

im = im.conv(kernel, precision="integer")

我明白了：

$ /usr/bin/time -f %M:%e ./try258.py ~/pics/wtc-mono.jpg x.jpg
44888:1.79

1.8 秒。