从 C 文件中获取 char* 的最快方法

Question

我有获取参数的函数：char* filedata（存储整个文件）和FILE *fp（打开的文件）。

void read_file(char *filedata, FILE *fp){
  char buffer[1000];

  while(fgets(buffer, sizeof(buffer), fp))
  {
    char *new_str;
    if((new_str = malloc(strlen(filedata) + strlen(buffer)+1)) != NULL)
    {
      new_str[0] = '\0'; // ensures the memory is an empty string
      strcat(new_str, filedata);
      strcat(new_str, buffer);
    }
    else
    {
      printf("malloc failed!\n");
    }
    strcpy(filedata, new_str);
  }

  fclose(fp);
}

但这并不太快……有没有更快的方法来读取整个文件？

Answer 1

下面是我的函数，说明了我通常是如何做的。不确定它与所有其他可能的 C 实现相比有多快。但我想它们都非常相似，除非以一种或另一种方式编程不当，这可能会导致执行速度更慢、效率更低。

/* ==========================================================================
 * Function:    readfile ( FILE *ptr, int *nbytes )
 * Purpose:     read open file ptr into internal buffer
 * --------------------------------------------------------------------------
 * Arguments:   ptr (I)         FILE * to already open (via fopen)
 *                              file, whose contents are to be read
 *              nbytes (O)      int * returning #bytes in returned buffer
 * --------------------------------------------------------------------------
 * Returns:     ( unsigned char * )  buffer with ptr's contents
 * --------------------------------------------------------------------------
 * Notes:     o caller should free() returned output buffer ptr when finished
 * ======================================================================= */
/* --- entry point --- */
unsigned char *readfile ( FILE *ptr, int *nbytes ) {
  /* --- 
   * allocations and declarations
   * ------------------------------- */
  unsigned char *outbuff = NULL;        /* malloc'ed and realloc'ed below */
  int  allocsz=0, reallocsz=500000,     /*total #bytes allocated, #realloc */
       blksz=9900, nread=0,             /* #bytes to read, #actually read */
       buffsz = 0;                      /* total #bytes in buffer */
  /* ---
   * collect all bytes from ptr
   * ----------------------------- */
   if ( ptr != NULL ) {                 /* return NULL error if no input */
    while ( 1 ) {                       /* read all input from file */
      if ( buffsz+blksz + 99 >= allocsz ) { /* first realloc more memory */
        allocsz += reallocsz;           /*add reallocsz to current allocation*/
        if ( (outbuff=realloc(outbuff,allocsz)) == NULL ) /* reallocate */
          goto end_of_job; }            /* quit with NULL ptr if failed */
      nread = fread(outbuff+buffsz,1,blksz,ptr); /* read next block */
      if ( nread < 1 ) break;           /* all done, nothing left to read */
      buffsz += nread;                  /* add #bytes from current block */
      } /* --- end-of-while(1) --- */
    fclose(ptr);                        /* close fopen()'ed file ptr */
    } /* --- end-of-if(ptr!=NULL) --- */
  end_of_job:
    if ( nbytes != NULL ) *nbytes = buffsz; /* #bytes in outbuff */
    return ( outbuff );                 /* back to caller with output or NULL*/
  } /* --- end-of-function readfile() --- */

Answer 2

有一些注意事项，您可以使用 fread() function 一口气将整个文件读入适当大小的缓冲区。

以下代码概述了如何打开文件、确定其大小、分配该大小的缓冲区，然后将文件的数据（全部）读入该缓冲区。但请注意关于 fseek 和 ftell 函数的注意事项（稍后讨论）：

#include <stdio.h>
#include <stdlib.h>

int main(void)
{
    char* filename = "MyFile.txt"; // Or whatever
    FILE* fp = fopen(filename, "rb"); // Open in binary mode
    int seek = fseek(fp, 0, SEEK_END); // CAVEAT: Files in BINARY mode may not support SEEK_END ...
    if (seek != 0) {
        printf("Cannot fseek on binary file!\n");
        fclose(fp);
        return 1;
    }
    size_t filesize = (size_t)ftell(fp); // ... but this is not reliable if opened in TEXT mode!
    char* filedata = calloc(filesize + 1, 1); // Add 1 for the terminating "nul" character
    rewind(fp);
    fread(filedata, 1, filesize, fp); // Read whole file
    
    // Clean up ...
    fclose(fp);
    free(filedata);

    return 0;
}

注意事项：

请注意，以 BINARY 模式打开的文件（如我在 fopen() 调用中给出的 "rb" 模式参数）在对 @987654333 的调用中支持 SEEK_END 源不是必需 @;如果您的平台是这种情况，那么this answer 提供了一些替代方法来确定文件的大小。 From cppreference:

... 二进制流不需要支持 SEEK_END，在 特别是如果输出额外的空字节。

但是，另一方面，以文本模式打开文件（使用"rt"）将使对ftell 的调用实际上毫无意义，就输入缓冲区所需的大小和指定给@987654336 的值而言@; from cppreference:

如果流以文本模式打开，则返回的值 函数未指定，仅作为输入有意义 fseek().

还请注意，正如 cmets 中所指出的，如果文件大小大于可以存储在 long int 变量中的最大值，fseek() 和 ftell() 函数将失败；要处理这种情况，您可以使用（取决于平台的）64 位等效项，正如我在 an answer I posted some time ago 中所述。

Answer 3

注释您的函数（不提及泄漏等）并计算字符缓冲区上的操作：

---

void read_file(char *filedata, FILE *fp){
  char buffer[1000];

  while(fgets(buffer, sizeof(buffer), fp))      // <<-- NEW_SIZE
  {
    char *new_str;
    if((new_str = malloc(strlen(filedata)       // <<-- OLD_SIZE
         + strlen(buffer)                       // <<-- NEW_SIZE
        +1)) != NULL)
    {
      new_str[0] = '\0'; // ensures the memory is an empty string
      strcat(new_str, filedata);                // <<-- OLD_SIZE
      strcat(new_str, buffer);                  // <<-- OLD_SIZE + NEW_SIZE
    }
    else
    {
      printf("malloc failed!\n");
    }
    strcpy(filedata, new_str);                  // <<-- OLD_SIZE + NEW_SIZE
  }

  fclose(fp);
}

---

fgets()。 strlen()、strcat() 和 strcpy() 都需要遍历字符缓冲区。 实际上只需要fgets()，其余的复制都可以避免。

添加通过缓冲区的次数：

每个循环的操作总和：4 * OLD_SIZE + 4 * NEW_SIZE 并且：请记住，OLD_SIZE 实际上是 SUM(NEW_SIZE)，递归的，所以你的函数有 QUADRATIC 行为 wrt 循环迭代的次数。（基本上是读取的行数）

所以你最终得到：

Number of times a character is inspected
    = 4 * N_LINE * LINE_SIZE
    + 8 * (NLINE * (NLINE-1) ) * LINE_SIZE
    ;

，这意味着对于一个 100 行的文件，您需要大约 40K 次遍历字符串。

[这是“画家施莱米尔”的故事]