Python数组总和与MATLAB

Question

我正在慢慢切换到 Python，我想做一个简单的测试来比较简单数组求和的性能。我生成一个随机的 1000x1000 数组，并将该数组中的每个值加一。

这是我的 Python 脚本：

import time

import numpy
from numpy.random import random

def testAddOne(data):
    """
    Test addOne
    """
    return data + 1

i = 1000
data = random((i,i))
start = time.clock()
for x in xrange(1000): 
    testAddOne(data)

stop = time.clock()
print stop - start

还有我在 MATLAB 中的函数：

function test
%parameter declaration
c=rand(1000);

tic
for t = 1:1000
    testAddOne(c);
end
fprintf('Structure: \n')
toc
end

function testAddOne(c)
c = c + 1;
end

Python 需要 2.77 - 2.79 秒，与 MATLAB 函数相同（实际上我对 Numpy 印象深刻！）。我必须对我的 Python 脚本进行哪些更改才能使用多线程？因为我没有工具箱，所以我不能在 MATLAB 中。

Answer 1

Python 中的多线程 仅在线程被阻塞的情况下有用，例如在获取输入时，这里不是这种情况（有关更多详细信息，请参阅this question 的答案）。然而，多处理 在 Python 中很容易做到。多处理一般在here 中涵盖。

下面是采用与您的示例类似的方法的程序

import time
import numpy
from numpy.random import random
from multiprocessing import Process

def testAddOne(data):
    return data + 1

def testAddN(data,N):
    # print "testAddN", N
    for x in xrange(N): 
        testAddOne(data)

if __name__ == '__main__':
    matrix_size = 1000
    num_adds = 10000
    num_processes = 4

    data = random((matrix_size,matrix_size))

    start = time.clock()
    if num_processes > 1:
        processes = [Process(target=testAddN, args=(data,num_adds/num_processes))
                     for i in range(num_processes)]
        for p in processes:
            p.start()
        for p in processes:
            p.join()
    else:
        testAddN(data,num_adds)

    stop = time.clock()
    print "Elapsed", stop - start

下面是一个更有用的示例，使用pool of worker processes 连续将1 加到不同的矩阵中。

import time
import numpy
from numpy.random import random
from multiprocessing import Pool

def testAddOne(data):
    return data + 1

def testAddN(dataN):
    data,N=dataN
    for x in xrange(N): 
        data = testAddOne(data)
    return data

if __name__ == '__main__':
    num_matrices = 4
    matrix_size = 1000
    num_adds_per_matrix = 2500

    num_processes = 4

    inputs = [(random((matrix_size,matrix_size)), num_adds_per_matrix)
              for i in range(num_matrices)]
    #print inputs # test using, e.g., matrix_size = 2

    start = time.clock()

    if num_processes > 1:
        proc_pool = Pool(processes=num_processes)
        outputs = proc_pool.map(testAddN, inputs)    
    else:
        outputs = map(testAddN, inputs)

    stop = time.clock()
    #print outputs # test using, e.g., matrix_size = 2
    print "Elapsed", stop - start

在这种情况下，testAddN 中的代码实际上对调用testAddOne 的结果做了一些事情。您可以取消注释打印语句以检查是否正在完成一些有用的工作。

在这两种情况下，我都将添加的总数更改为 10000；添加更少，启动流程的成本变得更加重要（但您可以尝试使用这些参数）。你也可以尝试num_processes。在我的机器上，我发现与使用num_processes=1 在同一进程中运行相比，使用num_processes=4 生成四个进程的速度快了两倍。