从文件中读取文本并在需要时重新分配

Question

我想逐行读取文本文件中的文本，并对这些行进行一些处理。我可以做所有的处理，但我不能用 malloc-realloc 增加内存。我首先给了有限的内存，如果我的文本文件的行字符在这个限制内，一切都很好。如果我使用像每行 10,000 个字符这样的大文件，它只会读取到我的限制。我不完全了解如何使用realloc()。我该怎么处理这段代码？

 void stat(char* fileptr)
{

  FILE *fp;
  char *linebuffer;
  int line=0;
  int sum=0;
  int max=0;
  int min=0;
  int maxlinelen=512;
  int i=0,j=0;
  int maxlen=512;
  int curlinelen[maxlen];

  linebuffer=(char*) malloc(maxlinelen * sizeof(char));
  if(linebuffer==NULL)
    {
      printf("Error occurred allocating memory for linebuffer");
      exit(1);
    }


  if((fp=fopen(fileptr,"r"))!=NULL)
  {
    while((fgets(linebuffer,maxlinelen,fp))!=NULL)
      {
    if(strlen(linebuffer)==maxlinelen)
      {
        maxlinelen*=2;
        linebuffer=realloc(linebuffer,maxlinelen * sizeof(char));
        if(linebuffer==NULL)
          {
        printf("Error occurred reallocating space for linebuffer");
        exit(1);
          }
      }
    line++;

        sum=sum+strlen(linebuffer);
    curlinelen[i]=strlen(linebuffer);
    i++;

      }
  }
  min=curlinelen[0];
  max=curlinelen[0];
  for(j=0;j<line;j++)
    {
      if(curlinelen[j]<min)
    {
      min=curlinelen[j];
    }
      if(curlinelen[j]>max)
    {
      max=curlinelen[j];
    }
    }


 printf("No. of lines        =%d\n",line);
 printf("Maximum line length =%d\n",max);
 printf("Minimum line length =%d\n",min);       
 printf("Average line length =%8.2f\n",(float)sum/(float)line);

 fclose(fp);
}

Answer 1

fgets(linebuffer,maxlinelen,fp)

在linebuffer 中最多读取和存储maxlinelen - 1 字符，并以0 终止它。因此

if(strlen(linebuffer)==maxlinelen)

永远不会满足，strlen(linebuffer) 最多可以是maxlinelen - 1。更改条件，如果文件包含长行，您将看到maxlinelen 增加（除非realloc 失败）。

但是，您当前的代码会将读入的部分行计为整行，然后将该行的下一个块读取为新行。要增加缓冲区直到整行适合，您必须在收集行长度和增加行数之前继续从文件中读取。但是我们必须检查是否读取了整行（包括末尾的换行符），以防fgets 在扩大缓冲区之前读取chars 的最大允许数量，或者我们将连接以下行并计数两个（或者在怪异的情况下甚至更多）行作为一个。

while((fgets(linebuffer,maxlinelen,fp))!=NULL)
  {
  while((strlen(linebuffer) == maxlinelen-1) && (linebuffer[maxlinelen-2] != '\n'))
  {
    maxlinelen*=2;
    linebuffer=realloc(linebuffer,maxlinelen * sizeof(char));
    if(linebuffer==NULL)
    {
        printf("Error occurred reallocating space for linebuffer");
        exit(1);
    }
    fgets(linebuffer + (maxlinelen/2 - 1), maxlinelen/2 + 1, fp);
  }

这样做会是一种（相当低效，由于strlen 调用）的方式。