读取文本列的大型数据文件的最快方法是什么？

Question

我有一个将近 900 万行的数据文件（很快就会超过 5 亿行），我正在寻找读取它的最快方法。五个对齐的列被填充并用空格分隔，所以我知道在每行的哪个位置查找我想要的两个字段。 我的 Python 例程需要 45 秒：

import sys,time

start = time.time()
filename = 'test.txt'    # space-delimited, aligned columns
trans=[]
numax=0
for line in open(linefile,'r'):
    nu=float(line[-23:-11]); S=float(line[-10:-1])
    if nu>numax: numax=nu
    trans.append((nu,S))
end=time.time()
print len(trans),'transitions read in %.1f secs' % (end-start)
print 'numax =',numax

而我在 C 中提出的例程是更令人愉悦的 4 秒：

#include <stdio.h>
#include <stdlib.h>
#include <time.h>

#define BPL 47
#define FILENAME "test.txt"
#define NTRANS 8858226

int main(void) {
  size_t num;
  unsigned long i;
  char buf[BPL];
  char* sp;
  double *nu, *S;
  double numax;
  FILE *fp;
  time_t start,end;

  nu = (double *)malloc(NTRANS * sizeof(double));
  S = (double *)malloc(NTRANS * sizeof(double));

  start = time(NULL);
  if ((fp=fopen(FILENAME,"rb"))!=NULL) {
    i=0;
    numax=0.;
    do {
      if (i==NTRANS) {break;}
      num = fread(buf, 1, BPL, fp);
      buf[BPL-1]='\0';
      sp = &buf[BPL-10]; S[i] = atof(sp);
      buf[BPL-11]='\0';
      sp = &buf[BPL-23]; nu[i] = atof(sp);
      if (nu[i]>numax) {numax=nu[i];}
      ++i;
    } while (num == BPL);
    fclose(fp);
    end = time(NULL);
    fprintf(stdout, "%d lines read; numax = %12.6f\n", (int)i, numax);
    fprintf(stdout, "that took %.1f secs\n", difftime(end,start));
  } else {
    fprintf(stderr, "Error opening file %s\n", FILENAME);
    free(nu); free(S);
    return EXIT_FAILURE;
  }

  free(nu); free(S);
  return EXIT_SUCCESS;
  }

Fortran、C++ 和 Java 中的解决方案需要中等量的时间（27 秒、20 秒、8 秒）。 我的问题是：我在上面是否犯了任何令人发指的错误（特别是 C 代码）？有什么方法可以加快 Python 例程的速度吗？我很快意识到将我的数据存储在一个元组数组中比为每个条目实例化一个类要好。

Answer 1

几点：

1. 您的 C 程序作弊；它被告知文件大小，并且正在预分配......

2. Python：考虑使用array.array('d') ... S 和 nu 各一个。然后尝试预分配。

3. Python：将例程编写为函数并调用它——访问函数局部变量比访问模块全局变量要快。

Answer 2

一种可能适用于 C、C++ 和 python 版本的方法是使用内存映射文件。最显着的好处是它可以减少数据从一个缓冲区复制到另一个缓冲区时的双重处理量。在许多情况下，由于 I/O 系统调用次数的减少，也有好处。

Answer 3

在 C 实现中，您可以尝试将 fopen()/fread()/fclose() 库函数替换为较低级别的系统调用 open()/read()/close()。加速可能来自以下事实：fread() 做了很多缓冲，而read() 没有。

此外，使用更大的块减少调用read() 将减少系统调用的数量，因此您将在用户空间和内核空间之间进行更少的切换。当您发出read() 系统调用（不管它是否从fread() 库函数调用）时，内核所做的就是从磁盘读取数据，然后将其复制到用户空间。如果您在代码中经常发出系统调用，则复制部分会变得很昂贵。通过读取更大的块，您最终会减少上下文切换和复制。

请记住，虽然 read() 不能保证返回您想要的确切字节数的块。这就是为什么在可靠且正确的实现中，您始终必须检查 read() 的返回值。

Answer 4

您在fread() 中有错误的1 和BPL 参数（按照您的方式，它可以读取部分行，您不对其进行测试）。您还应该在尝试使用返回的数据之前测试fread() 的返回值。

您可以通过一次读取多行来加快 C 版本的速度

#define LINES_PER_READ 1000
char buf[LINES_PER_READ][BPL];

/* ... */

   while (i < NTRANS && (num = fread(buf, BPL, LINES_PER_READ, fp)) > 0) {
      int line;

      for (line = 0; i < NTRANS && line < num; line++)
      {
          buf[line][BPL-1]='\0';
          sp = &buf[line][BPL-10]; S[i] = atof(sp);
          buf[line][BPL-11]='\0';
          sp = &buf[line][BPL-23]; nu[i] = atof(sp);
          if (nu[i]>numax) {numax=nu[i];}
          ++i;
      }
    }

在支持posix_fadvise() 的系统上，您也应该在打开文件后预先执行此操作：

posix_fadvise(fileno(fp), 0, 0, POSIX_FADV_SEQUENTIAL);

Answer 5

考虑到您需要执行此操作的次数，另一种可能的加速方法是使用指向 S 和 nu 的指针而不是索引到数组中，例如，

double *pS = S, *pnu = nu;
...
*pS++ = atof(sp);
*pnu = atof(sp);
...

此外，由于您总是在 buf 中的相同位置从 char 转换为 double，因此请预先计算循环之外的地址，而不是每次在循环中计算它们。