提高从二进制文件读取和转换的速度？

Question

我知道之前有一些关于使用struct 进行文件读取、二进制数据处理和整数转换的问题，所以我来这里询问我的一段代码，我认为这需要太多时间来运行。正在读取的文件是多通道数据采样记录（短整数），具有插入的数据间隔（因此嵌套了 for 语句）。代码如下：

# channel_content is a dictionary, channel_content[channel]['nsamples'] is a string
for rec in xrange(number_of_intervals)):
    for channel in channel_names:
        channel_content[channel]['recording'].extend(
            [struct.unpack( "h", f.read(2))[0]
            for iteration in xrange(int(channel_content[channel]['nsamples']))])

使用此代码，我使用具有 2Mb RAM 的双核读取每兆字节 2.2 秒，而我的文件通常有 20+ Mb，这会产生一些非常烦人的延迟（特别是考虑到我试图镜像的另一个基准共享软件程序加载文件的速度更快）。

我想知道的：

1. 如果有一些违反“良好做法”的行为：循环安排不当、重复操作花费的时间超过必要时间、使用效率低下的容器类型（字典？）等。
2. 如果这个读取速度正常，或者Python正常，如果读取速度正常
3. 如果创建 C++ 编译扩展可能会提高性能，以及是否是推荐的方法。
4. （当然）如果有人建议对此代码进行一些修改，最好基于以前的类似操作经验。

感谢阅读

（我已经发了几个关于我这个工作的问题，希望它们都是概念上无关的，也希望不要太重复。）

编辑： channel_names 是一个列表，所以我做了@eumiro 建议的更正（删除拼写错误的括号）

编辑：我目前正在接受 Sebastian 的建议，即使用 array 和 fromfile() 方法，并将很快将最终代码放在这里。另外，每一次投稿都对我很有帮助，非常感谢所有热心回答的人。

使用array.fromfile() 一次后的最终形式，然后通过切片大数组为每个通道交替扩展一个数组：

fullsamples = array('h')
fullsamples.fromfile(f, os.path.getsize(f.filename)/fullsamples.itemsize - f.tell())
position = 0
for rec in xrange(int(self.header['nrecs'])):
    for channel in self.channel_labels:
        samples = int(self.channel_content[channel]['nsamples'])
        self.channel_content[channel]['recording'].extend(
                                                fullsamples[position:position+samples])
        position += samples

与一次读取文件或以任何形式使用struct相比，速度提升非常令人印象深刻。

Answer 1

您可以使用array 来读取您的数据：

import array
import os

fn = 'data.bin'
a = array.array('h')
a.fromfile(open(fn, 'rb'), os.path.getsize(fn) // a.itemsize)

它比 struct.unpack 快 40 倍 @samplebias's answer。

Answer 2

如果文件只有 20-30M，为什么不读取整个文件，在一次调用 unpack 时解码 nums，然后通过遍历数组将它们分配到您的通道中：

data = open('data.bin', 'rb').read()
values = struct.unpack('%dh' % len(data)/2, data)
del data
# iterate over channels, and assign from values using indices/slices

快速测试表明，在 20M 的文件上，这比 struct.unpack('h', f.read(2)) 提高了 10 倍。

Answer 3

单个数组 fromfile 调用绝对是最快的，但如果数据序列与其他值类型交错，则不会工作。

在这种情况下，可以与前面的 struct 答案相结合的另一大速度提升是，无需多次调用 unpack 函数，而是使用每个块的格式预编译一个 struct.Struct 对象。来自docs：

创建一个 Struct 对象并调用它的方法更多 比使用相同格式调用结构函数更有效，因为 格式字符串只需要编译一次。

因此，例如，如果您想一次拆开 1000 个交错的 short 和 float，您可以这样写：

chunksize = 1000
structobj = struct.Struct("hf" * chunksize)
while True:
    chunkdata = structobj.unpack(fileobj.read(structobj.size))

（请注意，该示例只是部分示例，需要考虑更改文件末尾的块大小并中断while循环。）

Answer 4

extend() 接受 iterables，也就是说你可以写 .extend([...]) 而不是 .extend(...) 。它可能会加速程序，因为 extend() 将在生成器上处理，而不是在构建列表上处理

您的代码中存在不连贯性：您首先定义 channel_content = {} ，然后执行 channel_content[channel]['recording'].extend(...) ，这需要预先存在密钥 channel 和子密钥 'recording ' 将列表作为值，以便能够扩展到某物

self.channel_content[channel]['nsamples'] 的本质是什么，才能提交给 int() 函数？

number_of_intervals 来自哪里？间隔的性质是什么？

在 rec in xrange(number_of_intervals)): 循环中，我再也看不到 rec 了。因此，在我看来，您重复相同的循环过程 for channel in channel_names: 的次数与 number_of_intervals 表示的数字一样多。是否有 number_of_intervals * int(self.channel_content[channel]['nsamples']) * 2 个值可以读取 f ？

我在文档中读到：

类 struct.Struct(格式)

返回一个 新的 Struct 对象，它写入和 根据读取二进制数据 格式字符串格式。创建一个 构造对象一次并调用它 方法比调用更有效 结构功能相同 格式，因为只有格式字符串 需要编译一次。

这表达了与samplebias相同的想法。

如果您的目标是创建字典，也可以将 dict() 与生成器一起用作参数

.

编辑

我提议

channel_content = {}
for rec in xrange(number_of_intervals)):
    for channel in channel_names:
        N = int(self.channel_content[channel]['nsamples'])
        upk = str(N)+"h", f.read(2*N)
        channel_content[channel]['recording'].extend(struct.unpack(x) for i,x in enumerate(upk) if not i%2)

我不知道如何考虑 J.F. Sebastian 使用数组的建议

Answer 5

不确定它是否会更快，但我会尝试解码大块单词而不是一次解码一个单词。例如，您可以一次读取 100 个字节的数据，例如：

s = f.read(100)
struct.unpack(str(len(s)/2)+"h", s)