处理图像中的伪影答案

【问题标题】：artifacts in processed images处理图像中的伪影
【发布时间】：2012-06-13 11:17:13
【问题描述】：

这个问题和我之前在stackoverflow中的帖子Image Processing Algorithm in Matlab有关，我已经得到了我想要的结果。

但现在我面临另一个问题，并且在过程图像中得到了一些人工制品。在我的原始图像（600 张图像的堆栈）中，我看不到任何人工制品，请查看指甲的原始图像：

但在我的 10 个处理结果中，我可以看到以下几行：

我真的不知道他们来自哪里？

另外，如果它们属于相机的传感器，为什么我在原始图像中看不到它们？有什么想法吗？

编辑：

我添加了@Jonas 建议的以下代码。它会减少伪影，但不会完全去除它们。

%averaging of images
im = D{1}(:,:);
for i = 2:100
 im = imadd(im,D{i}(:,:));
end
im = im/100;
imshow(im,[]);

for i=1:100
SD{i}(:,:)=imsubtract(D{i}(:,:),im(:,:))
end

@belisarius 要求提供更多图片，因此我将上传 4 张带有散斑图案的手指图片和 4 张黑色背景尺寸（1280x1024）的图片：

这里是黑色背景：

【问题讨论】：

当您从下面的答案中找到解决方案时，将其作为答案发布。这是一个奇怪的问题:)
请问您打算如何处理这些视频？与 PPG 相关的东西？
@Georg 阅读了我之前在 stackoverflow 中的帖子：Matlab 中的图像处理算法
因此，平均将不起作用。在成像世界中，平均称为帧积分。传统上，它用于视频系统，以帮助减少像素值的随机变化以产生更清晰的图像。这就是为什么它在这种情况下不起作用的原因。您所看到的很可能确实是图像传感器问题。平均只会“清理”线条，并使它们更加纯净。如果您第一次拍摄图像时静止图像之间有任何移动，它也会涂抹您的输出图像。

标签： matlab image-processing filter noise-reduction

【解决方案1】：

您的工件实际上存在于您的原始图像中，尽管不可见。 Mathematica 中的代码：

i = Import@"http://i.stack.imgur.com/5hM3u.png"

EntropyFilter[i, 1]

线条很微弱，但可以通过非常低级别阈值的二值化看到它们：

Binarize[i, .001]

至于是什么原因造成的，我只能推测。我将从相机输出本身开始追踪。此外，您可以发布两到三张“直接来自相机”的图片，让我们进行一些实验。

【讨论】：

好收获。事实上，如果你仔细观察原始图像，你会看到微弱的线条。只要离显示器足够近，把你的头倾斜不同的角度:)
@Amro 嗨！遗憾的是我的编码比我的视力好得多。这并不意味着我的编码能力任何事情 :)
@belisarius 感谢您的回复。是的，你是对的。我刚刚尝试了 matlab 中的 entropyfilt()，得到了相同的结果
@user261002 从同一个摄像头再发布 3 或 4 张图片，然后 ping 我
嗨@belisarius，谢谢你的留言，我刚刚上传了新图片，希望它们有用。

【解决方案2】：

您使用的相机很可能有一个 CMOS 芯片。由于它们具有独立的列（可能还有行）放大器，其电子特性可能略有不同，因此您可以从一列获得比另一列放大得多的信号。

根据相机的不同，这些列强度的变化可能是稳定的。在这种情况下，你很幸运：拍摄大约 100 张暗图像（在镜头上粘贴一些东西），对它们进行平均，然后在运行分析之前从每张图像中减去它们。这应该使线条消失。如果这些行没有消失（或者如果有其他行），请使用post-processing scheme proposed by Amro 在二值化后删除这些行。

编辑

假设您拍摄了 100 张深色图像并将它们存储在具有 100 个元素的元胞数组D 中，以下是您执行背景减法的方法：

% take the mean; convert to double for safety reasons
meanImg = mean( double( cat(3,D{:}) ), 3); 

% then you cans subtract the mean from the original (non-dark-frame) image
correctedImage = rawImage - meanImg; %(maybe you need to re-cast the meanImg first)

【讨论】：

哇，太棒了，我会去做的，很快就会回复你。我的相机也是 Mikrotron 公司的 EoSen MC1362。你是对的，它是 CMOS CCD 相机
嗨@Jonas 我已经通过以下代码对图像进行了平均：图像的%平均 im = D{1}(:,:);对于 i = 2:100 im = imadd(im,D{i}(:,:));结束 im = im/100; imshow(im,[]);但我不确定你所说的减去是什么意思？你的意思是我需要从原始图像中减去这个平均值？
我已经上传了新代码，但并没有消除这些行。 :(
我确实尝试了你的代码，但它只是删除了一些行而不是所有内容，它也影响了我的原始数据，我认为这是因为这些行不是恒定的，它们在不同的位置保持变化。无论如何谢谢你

【解决方案3】：

这是一个答案，认为会比上述方法更温和地去除线条：

im = imread('image.png');   % Original image
imFiltered = im;            % The filtered image will end up here
imChanged = false(size(im));% To document the filter performance 

% 1)
% Compute the histgrams for each column in the lower part of the image
% (where the columns are most clear) and compute the mean and std each
% bin in the histogram.
histograms = hist(double(im(501:520,:)),0:255);
colMean = mean(histograms,2);
colStd = std(histograms,0,2);

% 2)
% Now loop though each gray level above zero and...
for grayLevel = 1:255

    % Find the columns where the number of 'graylevel' pixels is larger than
    % mean_n_graylevel + 3*std_n_graylevel). - That is columns that contains
    % statistically 'many' pixel with the current 'graylevel'. 
    lineColumns = find(histograms(grayLevel+1,:)>colMean(grayLevel+1)+3*colStd(grayLevel+1));

    % Now remove all graylevel pixels in lineColumns in the original image
    if(~isempty(lineColumns))
        for col = lineColumns 
            imFiltered(:,col) = im(:,col).*uint8(~(im(:,col)==grayLevel));
            imChanged(:,col) = im(:,col)==grayLevel;
        end
    end 
end

imshow(imChanged)
figure,imshow(imFiltered)

这是过滤后的图像

这显示了受过滤器影响的像素

【讨论】：

【解决方案4】：

您可以使用某种morphological opening 来删除细垂直线：

img = imread('image.png');
SE = strel('line',2,0);
img2 = imdilate(imerode(img,SE),SE);

subplot(121), imshow(img)
subplot(122), imshow(img2)

使用的结构元素是：

>> SE.getnhood
ans =
     1     1     1

【讨论】：

这很好，但输入的输出质量似乎相当损失。

【解决方案5】：

如果没有真正深入研究您的图像处理，我可以想到发生这种情况的两个原因：

处理引入了这些工件。这不太可能，但这是一种选择。检查您的算法和代码。
这是一个副作用，因为您的处理降低了图片的动态范围，就像量化一样。所以实际上，这些伪影可能在处理之前就已经存在于图片本身中，但是由于它们的水平非常接近背景水平，因此无法被注意到。至于这些伪影的来源，甚至可能是相机本身。

【讨论】：

只是一个想法：有时 Matlab 图像显示看起来很奇怪，有些伪影实际上并不存在。尝试全屏显示，或者检查图像矩阵，看看你是否真的在线条位置获得了 255 灰度值。
@CTZStef 好点，也许代码中存在错误。我重新措辞了一下我的答案以涵盖该问题。

【解决方案6】：

这是一个非常有趣的问题。我曾经用实时红外成像仪（视频系统）来处理这类问题。实际上，在用户看到或拿到图像之前，我们在相机中内置了算法来处理这个问题。几个问题：

1) 您是在处理 RAW 图像还是在处理已经预处理的灰度（或 RGB）图像？

2) 你对这些图片的最终目标是什么。目标是简单地消除线条，而不管产生的图像其余部分的质量如何，或者是保持绝对最佳图像质量的关键。之后还要进行其他处理吗？

我同意这些线条最有可能出现在您的所有图片中。这些线条出现在图像中的原因有两个，一个是在明亮的场景中，列的运算放大器饱和，从而导致图像的整个列获得相机可以输出的最亮值。另一个原因可能是糟糕的 OP AMP 或 ADC（模数转换器）本身（很可能不是 ADC，因为通常整个传感器基本上有 1 个 ADC，这会使整个图像变差，而不是你的情况）。饱和情况实际上更难处理（我不认为这是你的问题）。注意：传感器上过多的饱和度会导致传感器中出现坏像素和列（这就是为什么他们说永远不要将相机对准太阳）。可以处理坏柱问题。在上面的另一个答案中，有人让你平均图像。虽然这可能有助于找出坏列（或坏的单个像素，或传感器的噪声矩阵）在哪里（并且您必须将相机平均指向黑色、白色，基本上是纯色），但它不是t 摆脱它们的正确答案。顺便说一句，我用黑白和平均以及查找坏像素等来解释的内容称为校准传感器。

好的，如果你能得到这个校准数据，那么你将能够找出哪些列是坏的，甚至是单个像素。

如果您有这些数据，您可以擦除列的一种方法是：

for each bad column
    for each pixel (x, y) on the bad column
        pixel(x, y) = Average(pixel(x+1,y),pixel(x+1,y-1),pixel(x+1,y+1),
                              pixel(x-1,y),pixel(x-1,y-1),pixel(x-1,y+1))

这实质上是用一个新像素替换坏像素，这是它周围剩余的 6 个好像素的平均值。以上是算法的过度简化版本。在某些情况下，单个坏像素可能就在坏列旁边，不应该用于平均，或者两个或三个坏列彼此相邻。可以想象，您会计算一个坏列的值，然后认为该列是好的，以便移动到下一个坏列，等等......

现在，我询问 RAW 与 B/W 或 RGB 的原因。如果您正在处理 RAW，则取决于传感器本身的构建，可能只有拜耳过滤图像传感器的一个子像素（如果您愿意）具有坏的 OP AMP。如果你能检测到这一点，那么你就不必丢弃其他好的子像素数据。其次，如果您使用 RGB 传感器拍摄灰度照片，并以 RAW 格式拍摄，那么您可以计算自己的灰度像素。许多传感器在使用 RGB 传感器返回灰度图像时，只会将绿色像素作为整体像素传回。这是因为它确实起到了图像发光的作用。这就是为什么大多数图像传感器为每个 r 或 g 子像素实现 2 个绿色子像素。如果这是他们正在做的事情（并非所有传感器都这样做），那么您可能会更好地摆脱不良通道列，并使用执行您自己的灰度转换。

gray = (0.299*r + 0.587*g + 0.114*b)

为冗长的回答道歉，但我希望这对某人仍然有用:-)

【讨论】：

【解决方案7】：

由于您看不到原始图像中的线条，它们与原始图像范围相比强度差异较小，或者由您的处理算法添加。

干扰的形状暗示第一个选项...（除非您有一个单独处理每一行的算法。）

您的传感器的列似乎不均匀，请尝试使用相同的曝光（和其他）设置在没有手指（仅背景）的情况下拍照，然后从手指的照片中减去它（在其他处理之前）。（在拍摄两张照片之前，请确保背景一致。）

【讨论】：