概率作为马尔可夫随机场 (MRF) 的输入：如何细化 cmex 代码？

Question

我是MRF 的新手，并且不太擅长编程。 我已经使用 CNN 从语义分割中获得了概率图，我必须使用马尔可夫随机场 (MRF) 来优化分割。 我在此链接GCmex 中下载了 Shai Bagon 提供的代码。基于 alpha 扩展或交换执行能量最小化。

我通过 mex 编译了代码，我需要改进一元和成对能量最小化函数。我有一堆图像，需要提取 6 邻域网格，并在成对函数中包含细化的邻域。

一元函数的输入是概率图，它是大小为 (256,256,4) 的 4 个不同类别的堆栈：

我的问题是： 有人根据定义的不同能量函数改进了代码1）我想改变一元和成对的公式）。哪些函数和代码的哪些部分应该重新优化和重新编译？

2) 如何更改w_i,j？是根据强度差计算的，这里只有概率，是不是相邻两个体素的概率差？

非常感谢您的帮助。谢谢

Answer 1

您有 60 片 256x256 像素（总共 ~4G 体素），即 slices 是一个 256-by-256-by-60 数组。一旦你将slices 输入你的网络（一个接一个或分批 - 任何最适合你的）你就有prob 大小的概率256-by-256-by-60-by-@ 987654333@.
我建议您使用third constructor of GCMex 来构建您的图表以进行优化。
为此，您首先需要定义一个稀疏图。使用sparse_adj_matrix：

[ii jj] = sparse_adj_matrix([256 256 60], 1, 1);  % 6-connect 3D grid
n = prod([256 256 60]);  % num voxels
wij = exp(-((slices(ii)-slices(jj)).^2)/(2*sig2));  % -|Ii-Ij|^2/2\sig^2
W = sparse(ii, jj, wij, n, n);  % sparse grid graph

一旦你有了图表，一切就从这里开始了：

Dc = -reallog(reshape(prob, n, 4)).';  %' unary/data term 
lambda = 2;  % relative weight of the smoothness term
gch = GraphCut('open', Dc, lambda*(ones(4)-eye(4)), W);  % construct the graph
[gch L] = GraphCut('expand', gch);  % minimize using "expand" method
gch = GraphCut('close', gch);  % do not forget to de-allocate

要查看输出标签，您需要reshape

output = reshape(L, size(slices));

PS，
如果切片之间的空间距离大于同一切片中相邻体素之间的间隙，您可能需要为同一切片中的ii 和jj 以及ii 和@987654344 使用不同的sig2 @ 位于不同的切片上。这需要一些努力。