在 R 中为高维空间中的矩阵创建距离矩阵

Question

我使用 R 中的dist() 函数创建了一个欧几里得距离矩阵。 下面是我的R 脚本。由于在R 中运行此脚本时矩阵的尺寸为16809 * 16809，因此我收到了错误消息：

错误：无法分配大小为 1.1 Gb 的向量

那么有什么办法可以摆脱这个错误呢？

我之前没有在R 中使用并行化。可以使用并行化来完成吗？

rnd.points = matrix(runif(3 * 16809), ncol = 3)
rnd.points <- rnd.points[1:5,]
ds <- dist(rnd.points)
as.matrix(ds) -> nt
nt

Answer 1

正如@Gopola 所说：dist(.) 计算所有成对距离，因此需要 O(n^2) 内存。事实上，dist() 是高效的，并且只存储对称 n x n 矩阵的 一半。

如果我在具有足够 RAM 的计算机上计算 dist()，它会很好地工作，并且确实会创建一个大小为 1.1 Gb 的对象 ds ... 这对于当今的计算机来说并不是那么 .

rnd.points <- matrix(runif(3 * 16809), ncol = 3)
ds <- dist(rnd.points)
object.size(ds)

但请注意，您的

as.matrix(ds) -> nt

不是一个好主意，因为生成的矩阵nt 确实（几乎）是ds 大小的两倍，因为nt 是当然是一个 n x n 矩阵。

Answer 2

O/S 对RAM-寻址有主要限制（对于 32 位系统较小，对于 64 位系统较大）
操作系统接下来有一个基于设计的限制，一个进程可以分配的最大RAM（之后是+kill-s）

---

在 python 中具有相同的 InRAM 约束并超越了这一点

当然，需要付出一些代价，但值得体验。

python numpy 为这种场景无缝内置了一个奇妙的功能 - .memmap()。有意强调无缝这个词，因为这对于您的问题重新制定/重新设计成本具有核心重要性。有可用的工具，但现在是您掌握它们并重新设计算法（库等）的时候了，因为这些工具可以使用新工具 - 猜猜看 - 无缝。这是冰山的隐藏部分。

---

方便的R 工具可用：

• filebacked.big.matrix 还支持用于分布式处理的 HPC 集群范围共享（从而解决 PSPACE 和 PTIME HPC 处理挑战的维度，除非你幸运地达到了文件系统fileSize 上限）

• ff 允许
  library(ff)
pt_coords <- ff( vmode = "double", dim = c(16809, 3), initdata = 0 )
pt_dists <- ff( vmode = "double", dim = c(16809, 16809), initdata = -1 )
  并像在矩阵中一样简单地使用它-类似 [row,column] 模式来填充点并处理它们的成对距离等，
  ?ffsave 了解有关保存结果距离数据的更多详细信息

最后，但并非最不重要

• mmap + 索引

---

Parallel? No.
分布式？
是的，可能对 PTIME 有帮助：

正如filebacked.big.matrix 所指出的，有机会将计算PSPACE 分割成更小的部分，以进行分布式处理和减少PTIME，但这个概念原则上只是对可用资源的并发（重新）使用，而不是 [ PARALLEL ] 系统行为（虽然有必要承认，很多营销（坏消息是，即使是技术营销也加入了这种不公平和故意不正确的做法）文本在观察到只是并发系统行为的地方（没有很多真实的、真正的并行系统）。

---

结论：

大矩阵在 R 中是可行的，远远超出 InRAM 的限制，选择最适合您的问题领域的工具并利用所有 HPC 资源你可以。

Error: cannot allocate vector of size 1.1 Gb 已解决。

除了资源之外别无其他，这会对我们的计算就绪任务施加限制和延迟，因此请不要犹豫，在您的项目仍有计算资源可用的情况下采取行动，否则您会发现自己，所有的重新工程软件已准备就绪，但正在排队等待计算资源。