在向量中搜索计算量太大

Question

我需要执行如下代码块：

x = some_number;
y = some_other_number;

u = a_vector_of_numbers;
v = another_vector_of_numbers;
% u and v are of equal size

r1 = ((x == u) | (x == v));   % Expensive!
r2 = ((y == u) | (y == v));   % Expensive!

q = any(r1 & r2);

您可以将其视为：x 和 y 是图上的两个节点，除非我弄错了，否则这会检查 x 和 y 是否使用邻接列表 [r1, r2] 连接。换句话说，我试图回答这个问题：“是否有这样一个索引i 可以在r1(i) 或r2(i) 找到x 和y？”

我需要反复这样做。 r1 和 r2 都可能包含多达数千个唯一值（图中的节点数约为 10⁴），它们的长度为数十万（ 10⁶) 的顺序。

我的分析器告诉我，我用 cmets 指示的两行消耗了 99% 的运行时间，而且我的程序需要很长时间才能运行，所以我想知道：这还能优化多少？最小计算时间的基本限制是什么，我离它有多近？

此外，将此特定代码外包给另一种语言也很容易。这样做能带来显着的性能提升吗？

Answer 1

如果您的第一次检查 (r1) 可能会删除大部分结果，则可以预先过滤您的第二次检查以仅检查可能的匹配项。代码如下所示：

mask_r1 = ((x == u) | (x == v));   % Expensive!
r2 = ((y == u(mask_r1)) | (y == v(mask_r1)));   % Less expensive!
q = any(r2);

我什至见过一些案例（通常在旧版本的 Matlab 中），在第一行添加 find 可以提高性能。但我认为不再是这样了（他们已经将优化拉到解析器中。）三种方法的一些计时结果（原始，使用逻辑掩码，使用显式索引列表）如下：

x = 2;
y = 3;
v = randi(200,1e5,1);
u = randi(200,1e5,1);

tic;
for ix = 1:1000
    r1 = ((x == u) | (x == v));   % Expensive!
    r2 = ((y == u) | (y == v));   % Expensive!
    q = any(r1 & r2);
end
toc;  %1.175234


tic;
for ix = 1:1000
    mask_r1 = ((x == u) | (x == v));   % Expensive!
    r2 = ((y == u(mask_r1)) | (y == v(mask_r1)));   % Less expensive!
    q = any(r2);
end
toc;  %0.878857

tic;
for ix = 1:1000
    ixs_r1 = find(((x == u) | (x == v)));   % Expensive!
    r2 = ((y == u(r1)) | (y == v(r1)));   % Less expensive!
    q = any(r2);
end
toc;  %1.118103

Answer 2

这个建议我没有测试过，太费力去设置一些真实的测试数据，但是……

您是否尝试过为图形创建邻接矩阵并将其用于查询？虽然创建矩阵（一次）将是一项相对昂贵的操作，但检查是否存在边会比读取两个邻接列表便宜得多（我认为）。

如果您坚持使用当前的算法（或者更确切地说，使用当前的数据结构），如果您仅通过将工作卸载到另一种语言的实现来获得很大的加速，我会感到惊讶。使用另一种语言并不会改变您正在阅读长向量数据以寻找值的事实。