循环浏览大量文件并保存数据图的最快/最有效方法是什么？

Question

所以我有这个程序循环通过大约 2000 多个数据文件，执行傅立叶变换，绘制变换，然后保存图形。感觉程序运行的时间越长，它似乎就越慢。有没有办法通过对下面的代码进行简单的更改来让它运行得更快或更干净？

以前，我将傅立叶变换定义为一个函数，但我在这里读到 python 的函数调用开销很高，所以我取消了该函数，现在直接运行。另外，我读到clf() 有一个稳定的以前数字的日志，如果你遍历很多图，可能会变得非常大并减慢进程，所以我将其更改为close()。这些好的变化也体现在哪里？

from numpy import *
from pylab import *

for filename in filelist:

    t,f = loadtxt(filename, unpack=True)

    dt = t[1]-t[0]
    fou = absolute(fft.fft(f))
    frq = absolute(fft.fftfreq(len(t),dt))

    ymax = median(fou)*30

    figure(figsize=(15,7))
    plot(frq,fou,'k')

    xlim(0,400)
    ylim(0,ymax)

    iname = filename.replace('.dat','.png')
    savefig(iname,dpi=80)
    close()

Answer 1

您是否考虑过使用multiprocessing 模块来并行处理文件？假设您实际上是 CPU 密集型的（这意味着傅立叶变换占用了大部分运行时间，而不是读取/写入文件），这应该会加快执行时间，而实际上不需要加速循环本身。

编辑：

例如，像这样的东西（未经测试，但应该给你的想法）：

def do_transformation(filename)
    t,f = loadtxt(filename, unpack=True)

    dt = t[1]-t[0]
    fou = absolute(fft.fft(f))
    frq = absolute(fft.fftfreq(len(t),dt))

    ymax = median(fou)*30

    figure(figsize=(15,7))
    plot(frq,fou,'k')

    xlim(0,400)
    ylim(0,ymax)

    iname = filename.replace('.dat','.png')
    savefig(iname,dpi=80)
    close()

pool = multiprocessing.Pool(multiprocessing.cpu_count())
for filename in filelist:
    pool.apply_async(do_transformation, (filename,))
pool.close()
pool.join()

您可能需要调整工作进程中实际完成的工作。例如，尝试并行化磁盘 I/O 部分可能对您没有多大帮助（甚至伤害您）。

Answer 2

是的，添加 close 是一个不错的举措。它应该有助于解决您的内存泄漏问题。我还建议将图形、绘图和关闭命令移到循环之外 - 只需更新 plot 创建的 Line2D 实例。查看this 了解更多信息。

注意：我认为这应该可以，但我没有在这里测试过。

Answer 3

我测试了类似于您在 ipython 中所做的事情，我注意到当目录中有很多文件时循环变得相当慢。看起来该目录中的文件系统的开销与该文件夹中的文件数量有关，可能与以下各项的查找时间有关：

loadtxt(filename, unpack = true)

您可以尝试通过将文件列表拆分为较小的块并为每个块保存在不同的目录中来将保存地块的位置拆分为块。