如何有效地循环矩阵元素？

Question

我必须遍历一个 800 000* 800 000 矩阵。我试图通过简单的循环来做到这一点，但这花了我很多时间。如何快速循环？

for in in xrange(800000):
   for j in xrange(800000):
      print i,j

通常，我使用 OpenCV 读取图像，然后我需要遍历每个像素，以便执行一些计算并与像素邻居的某些特征的值进行比较。当我运行一个循环时，我觉得它需要超过 2 天才能完成。

其实我想实现我自己版本的GrowCut算法。作者声称使用像我这样的计算机在不到 4 分钟的时间内执行该算法。但是，循环 1200*1100 矩阵需要很长时间（我测试过）。我怎样才能快速阅读它们？

Answer 1

对于高性能数组循环，您可以使用Cython。你可以使用 Python 的大部分语法，使用 C 的性能提升很多。它还兼容NumPy。

Iterating over arrays with Cython.

Answer 2

您可以考虑使用内置的 bytearray 类型而不是 python 列表。

您可以创建一个大小为 1200 * 1300 * 4 的字节数组来表示您的矩阵。 元素 i, j 将位于 i * 1200 * 4 + j * 4 （假设像素大小为 4 字节）

进一步看，我发现您可以在 python 中使用数组来有效地存储几乎任何东西。如上所述，您可以轻松计算指数。

“Numeric Python 扩展 (NumPy) 定义了另一种数组类型；有关 Numerical Python 的更多信息，请参阅http://www.numpy.org/。”

Answer 3

这是一个可能的优化，但同样，这将取决于系统和其他当前正在运行的进程等...以及您在内部进行的计算。

import time
import numpy as np
test = np.ones((1200, 1100))

测试 1：

def loops():
    start = time.clock()
    for i in range(1200):
        for j in range(1100):
            a = test[i,j]
    print(time.clock()-start)
    return a

>>> loops()
1.433313120652599
1.0

所以你看到循环只有 1.5 秒。在里面添加计算会大大延长这个时间，但你的循环是最不担心的。如果不提供 您的 代码，我对此无话可说。

替代方法是：

def loops():
    start = time.clock()
    for row in test:
        for element in row:
            a = element
    print(time.clock()-start)
    return a

>>> loops()
0.714938339920252
1.0

请注意这个样本有多小（仅 1 次测试），但有一半时间表明可能有增强功能？您还避免了使用a= 的需要，并且可以跳过分配一个应该减少几微秒的新变量。

显示你的代码，我相信还有其他可以做的。

这是win7 Intel i5 Dual Core Python3.4