scipy 稀疏矩阵和 cython

Question

我需要在 Cython 方法中对 scipy 稀疏矩阵执行一组操作。

为了有效地应用这些，我需要访问lil_matrix 表示。 python中的lil（链表稀疏矩阵）数据表示使用不同长度的list of lists。

如何有效地将不同长度的列表传递给 cython（不复制）？ 有没有其他方法可以访问 cython 中的 lil 矩阵？

Answer 1

下面的示例遍历 lil_matrix 并计算每一行的总和。

注意我没有做任何声明，即使它非常快because Cython is already optimized for built-in types such as lists。时间也显示在下面...

import time

import numpy as np
cimport numpy as np

from scipy.sparse import lil_matrix

cdef iter_over_lil_matrix(m):
    cdef list sums, data_row
    sums = []
    for data_row in m.data:
        s = 0
        for value in data_row:
            s += value
        sums.append(s)
    return sums

def main():
    a = np.random.random((1e4*1e4))
    a[a>0.1] = 0
    a = a.reshape(1e4,1e4)
    m = lil_matrix(a)

    t0 = time.clock()
    sums = iter_over_lil_matrix(m)
    t1 = time.clock()
    print 'Cython lil_matrix Time', t1-t0

    t0 = time.clock()
    array_sums = a.sum(axis=1)
    t1 = time.clock()
    print 'Numpy ndarray Time', t1-t0

    t0 = time.clock()
    lil_sums = m.sum(axis=1)
    t1 = time.clock()
    print 'lil_matrix Time', t1-t0

    mcsr = m.tocsr()
    t0 = time.clock()
    csr_sums = mcsr.sum(axis=1)
    t1 = time.clock()
    print 'csr_matrix Time', t1-t0

    assert np.allclose(array_sums, sums)
    assert np.allclose(array_sums, np.asarray(lil_sums).flatten())
    assert np.allclose(array_sums, np.asarray(csr_sums).flatten())

时间以秒为单位 - 仅比超级优化的 NumPy 慢 2 倍：D，比 lil_matrix.sum() 方法快得多，因为它之前转换为 csr_matrix()，@hpaulj 澄清并由以下结果证实。请注意，列上的csr_matrix.sum() 几乎比密集和快一个数量级。

Cython lil_matrix Time 0.183935034665
Numpy ndarray Time 0.106583238273
lil_matrix Time 2.47158218631
csr_matrix Time 0.0140050888745

会使代码变慢的事情：

• 使用for i in range(len(m.data)): 和data_row = m.data[i]
• 用data=m.data 声明像np.ndarray[object, ndim=1] data 这样的缓冲区

没有影响的事情：

• boundscheck 或 wraparound