在 Matlab 中截断大数组的内存有效方法

Question

我在 Matlab 中有一个大（多 GB）数组，我想截断它¹。天真地，我认为截断不需要太多内存，但后来我意识到它可能可以：

>> Z = zeros(628000000, 1, 'single');
>> Z(364000000:end) = [];
Out of memory. Type HELP MEMORY for your options.

除非 Matlab 进行一些巧妙的优化，否则在截断 Z 之前，此代码实际上创建一个数组（双精度型！）364000000:628000000。我不需要这个数组，所以我可以这样做：

>> Z = Z(1:363999999);

在这种情况下，第二个示例有效，并且适合我的目的。但是为什么它会起作用？如果Z(364000000:end) = 0 因中间数组364000000:628000000 所需的内存而失败，那么为什么Z = Z(1:363999999) 不会因为中间数组1:363999999 所需的内存而失败，即更大？当然，我需要这个中间数组，我会很高兴有一个解决方案可以截断我的数组而没有任何中间数组，或者如果 Matlab 优化了特定方法，则失败了。

• 有什么方法可以在不创建中间索引数组的情况下截断数组？
• 如果不是，上述任何一种方法是否比另一种更节省内存（似乎不是）？如果是这样，为什么？ Matlab 真的在这两个例子中都创建了中间数组吗？

---

^{¹原因：我正在处理数据，但不知道要预分配多少。我做了一个有根据的猜测，我经常分配太多。我根据可用内存选择块大小，因为分成更少的块意味着更快的代码。所以我想避免任何不必要的内存使用。另见this post on allocating by chunk。}

Answer 1

我在一台具有 24GB RAM 和profile('-memory','on'); 的机器上运行了这两个示例。此分析器选项将显示在每一行代码上分配和释放的内存。这些应该是总额而不是净额。我检查了一个简单的函数，它有 net 0 free 和 alloc，它报告了总金额。但是，似乎没有 .m 代码支持它们的内置命令不会向分析器提供细粒度的内存报告。

我对以下代码进行了几次测试：

% truncTest.m
N = 628000000;
M = 364000000;

clear Z
Z = zeros(N,1,'single');
Z(M:end) = [];
Z(1) % just because

clear Z
Z = zeros(N,1,'single');
Z = Z(1:M);
Z(1)

对于它们的价值，N 和 M 的内存分析结果是：

嗯，就分配和释放的内存而言，这两行看起来是相同的。也许这不是全部真相。

所以，出于好奇，我将 M 减少到 200（只有 200 个！），但没有更改 N，做了 profile clear 并重新运行。分析声明：

有趣的是，Z=Z(1:M); 现在几乎是瞬时的，而Z(M:end)=[]; 快了一点。正如预期的那样，两者都释放了大约 2.4GB 的内存。

最后，如果我们换个方向设置M=600000000;：

现在即使Z=Z(1:M); 也很慢，但大约是Z(M:end)=[]; 的两倍。

这表明：

1. Z=Z(1:M); 只是抓取指定的元素，将它们存储在新的缓冲区或临时变量中，释放旧缓冲区并将新的/临时的分配给数组Z。通过增加 M 并单独留下N，我能够让我较弱的 4GB 机器从 2.45 秒到翻动页面文件 5 分钟。对于小型M/N，可能在所有情况下都绝对更喜欢这个选项。
2. Z(M:end)=[]; 总是重写缓冲区，并且执行时间也随着M 而增加。与Z=Z(1:M); 不同，实际上总是较慢，而且似乎呈指数级增长。
3. 内存分析不提供有关这些内置操作的细粒度信息，不应被误解为提供了在命令执行过程中释放和分配的总内存，而是净变化。

更新 1：只是为了好玩，我在 M 的值范围内对测试进行了计时：

显然比分析提供更多信息。这两种方法都不是无操作，但Z=Z(1:M); 最快，但对于M/N 1 附近的Z，它几乎可以使用两倍的内存。

更新 2：

在 R2008b 之前，32 位 Windows 中提供了一个相对未知的 feature，称为 mtic（和 mtoc）。我仍然把它安装在一台机器上，所以我决定看看这是否能提供更多的洞察力，因为我知道（a）从那时起发生了很大变化，（b）它是 32 位 MATLAB 中使用的完全不同的内存管理器。尽管如此，我还是将测试大小减小到N=128000000; M=101000000; 并查看了一下。首先，feature mtic 代表Z=Z(1:M-1);

>> tic; feature mtic; Z=Z(1:M-1); feature mtoc, toc

ans = 

      TotalAllocated: 808011592
          TotalFreed: 916009628
    LargestAllocated: 403999996
           NumAllocs: 86
            NumFrees: 77
                Peak: 808002024

Elapsed time is 0.951283 seconds.

清理，重新创建Z，反之：

>> tic; feature mtic; Z(M:end) = []; feature mtoc, toc

ans = 

      TotalAllocated: 1428019588
          TotalFreed: 1536018372
    LargestAllocated: 512000000
           NumAllocs: 164
            NumFrees: 157
                Peak: 1320001404

Elapsed time is 4.533953 seconds.

在每个指标（TotalAllocated、TotalFreed、NumAllocs 等）中，Z(M:end) = []; 的效率都低于Z=Z(1:M-1);。我希望可以通过检查这些数字的N 和M 的值来辨别内存中发生了什么，但我们猜测的是旧的 MATLAB