Mathematica“链表”和性能

Question

在 Mathematica 中，我像这样创建单链表：

toLinkedList[x_List] := Fold[pair[#2, #1] &, pair[], Reverse[x]];

fromLinkedList[ll_pair] := List @@ Flatten[ll];

emptyQ[pair[]] := True;
emptyQ[_pair] := False;    

对 cons 单元使用符号 pair 具有 Flatten 安全工作的优点，即使列表包含 Mathematica 样式 Lists，并且允许您使用 MakeExpression/MakeBoxes 定义自定义符号，这使一切变得更加愉快。为了避免使用$IterationLimit，我编写了使用While 循环或NestWhile 来处理这些列表的函数，而不是使用递归。自然，我想看看哪种方法更快，所以我写了两个候选人，以便我可以观看他们的战斗：

nestLength[ll_pair] := 
 With[{step = {#[[1, -1]], #[[-1]] + 1} &},
  Last@NestWhile[step, {ll, 0}, ! emptyQ@First@# &]];

whileLength[ll_pair] := 
 Module[{result = 0, current = ll},
  While[! emptyQ@current,
   current = current[[2]];
   ++result];
  result];

结果很奇怪。我在长度为 10000 的链表上测试了这些函数，whileLength 通常比nestLength 的 0.055 秒快 50%，大约是 0.035 秒。然而，偶尔whileLength 需要大约 4 秒。我认为可能存在一些缓存行为，所以我开始生成新的随机列表来检查，whileLength 在第一次运行新列表时不一定会很慢；可能需要几十次才能看到减速，但它不会再次发生（至少对于我尝试使用每个列表的 200 次运行来说不是）。

可能会发生什么？

作为参考，我用来测试的函数是这样的：

getTimes[f_, n_] :=
 With[{ll = toLinkedList@RandomInteger[100, 10000]},
  Table[Timing[f@ll], {n}][[All, 1]]]

编辑：我之前忽略了版本；我使用 Mathematica 8 得到了这些结果。

编辑第二个：当我阅读 Daniel Lichtblau's answer 时，我意识到我的“典型”运行时间省略了前导 0。它已得到修复。

编辑第三个：我认为Leonid Shifrin 将问题与Module 联系起来是正确的；通过将With 替换为Module，我可以从基于NestWhile 的版本中获得相同的行为：

nestModuleLength[ll_pair] := 
  Module[{step = {#[[1, -1]], #[[-1]] + 1} &}, 
   Last@NestWhile[step, {ll, 0}, ! emptyQ@First@# &]];

In[15]:= Select[getTimes[nestModuleLength, 100], # > 3 &]
Out[15]= {3.797}

Answer 1

下面的例子给出了典型的结果。

一个 20 长的慢跑示例。

In[18]:= getTimes[whileLength, 20]

Out[18]= {0.031, 0.032, 0.031, 0.031, 0.031, 0.032, 0.031, 0.031, \
0.031, 0.047, 0.032, 0.031, 0.031, 3.547, 0.047, 0.031, 0.031, 0.032, \
0.031, 0.031}

我顺便注意到，时间比原来的帖子快 10 倍，除了可比较的慢速情况。不确定是什么导致了比率差异。

没有慢的例子。

In[17]:= getTimes[nestLength, 20]

Out[17]= {0.047, 0.047, 0.062, 0.047, 0.047, 0.062, 0.047, 0.047, \
0.047, 0.063, 0.046, 0.047, 0.047, 0.063, 0.047, 0.046, 0.047, 0.063, \
0.047, 0.047}

100 次跑步中的慢速示例。

In[19]:= getTimes[whileLength, 100]

Out[19]= {0.031, 0.031, 0.031, 0.032, 0.031, 3.594, 0.047, 0.031, \
0.031, 0.031, 0.032, 0.031, 0.031, 0.031, 0.032, 0.031, 0.047, 0.031, \
0.031, 0.031, 0.032, 0.031, 0.031, 0.031, 0.032, 0.047, 0.031, 0.031, \
0.031, 0.032, 0.031, 0.031, 0.031, 0.032, 0.031, 0.031, 0.047, 0.031, \
0.031, 0.032, 0.031, 0.031, 0.031, 0.032, 0.031, 0.031, 0.047, 0.031, \
0.032, 0.031, 0.031, 0.031, 0.032, 0.031, 0.031, 0.047, 0.031, 0.031, \
0.032, 0.031, 0.031, 0.031, 0.032, 0.031, 0.047, 0.031, 0.031, 0.032, \
0.031, 0.031, 0.031, 0.032, 0.031, 0.031, 0.031, 0.032, 0.046, 0.032, \
0.031, 0.031, 0.031, 0.032, 0.031, 0.031, 0.047, 0.031, 0.032, 0.031, \
0.031, 0.031, 0.032, 0.031, 0.047, 0.031, 0.031, 0.031, 0.032, 0.031, \
0.031, 0.031}

Mathematica 不完美地实现了所谓的“无限求值”。也就是说，一个表达式会重新计算，直到它停止变化。为了使这一过程相当快，有各种优化措施试图尽可能缩短流程。

在某些情况下，这可能很难辨别（由于类似于哈希冲突的影响），并且可能会不必要地重新评估表达式。深度嵌套的表达式往往是最坏的情况。我们有更多的代码，即使在发生冲突的情况下也能经常解决这些问题。

这个例子中的罪魁祸首正是这段代码，它试图快速确定一个表达式是否需要重新计算。这很奇怪，但可能是一个线索（对某人而言），这种情况在 While 循环内的运行中最多发生一次。所以在坏情况下会发生一些事情，防止在同一个 While 内再次发生。

有一次我对重新评估检测代码很熟悉，写了一大块。但它是为第 8 版重写的。所以即使在调试器中看到这种次优行为后，这对我来说还是个谜。我现在只能说我提交了一个错误报告。

正如 Leonid Shifrin 观察到的，具有 HoldAllComplete 属性的符号不受此问题的影响。因此，使用该属性可能对这种类型的代码有益。

丹尼尔·利希特布劳 Wolfram 研究

Answer 2

似乎它与模块本地符号内存管理有关。

我将展示一些运行的时序。每次运行当然都会给出一个独特的情节，但我检查了运行之间的“一致性”。看：

whileLength[l2_pair] := 
  Module[{result = 0}, current = l2; 
   While[! emptyQ@current, current = current[[2]];
    ++result];
   result];  

给出以下时序：

仅使用全局符号时：

whileLength[l2_pair] := 
  Module[{}, result = 0; current = l2; 
   While[! emptyQ@current, current = current[[2]];
    ++result];
   result];

给出：

Answer 3

免责声明：以下为推测。这似乎与搜索UpValues 有关。看起来这已经针对全局变量进行了优化（以便系统在确定可以执行此操作时跳过此步骤），但不适用于Module - 生成的局部变量。为了测试这一点，将HoldAllComplete 属性分配给pair，效果消失（从那时起，UpValues 不检查current）：

SetAttributes[pair, HoldAllComplete];

In[17]:= ll = toLinkedList@RandomInteger[100, 10000];
Max[Table[Timing[whileLength[ll]], {1000}][[All, 1]]]

Out[18]= 0.047

HTH