使用 C 语言读取和存储大型 hex 文件数据

Question

我需要读取一个大型 Intel Hex 文件并根据数据类型，需要将数据存储在字符串/字符数组中以供以后使用。下面是代码，我正在使用块从 hex 文件中读取行，使用 data_type 检查读取行中的数据类型，使用 sub 存储行中的解析数据，使用 finaldata 在读取时继续添加数据。但是问题是大小，最大字符数组大小是 65535（如果我错了，请纠正我），但我的数据大约是 80,000 字节（120K 个字符）。 我该如何解决这个问题（使用 C 语言）？或者如果我切换到 C++ 或 C# 会更好？ 提前感谢您提供的任何帮助/见解。

编辑：文件中的十六进制数据如下所示： :020000040200F1 :10C00000814202D8BFF32F8F10BD441C42E8004366 我需要逐行读取此数据并根据数据类型（以粗体显示，第一行为 04，第二行为 00），如果为 00，则从下一个字节（数据类型后的字节）解析数据并读取直到结束除了最后一个字节（这是校验和）。然后移动到下一行，如果数据类型为00，解析数据并添加到之前读取的数据中（字符串拼接），所以变量需要存储大量的最终数据（这是我苦苦挣扎的地方，如何将大量数据存储在单个变量中）？

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main(void)
{
    FILE *fp;
    fp = fopen(*filename, "rb");
    if(fp == NULL) {
        perror("Unable to open file!");
        exit(1);
    }

    char chunk[128];
    char sub[128];

    char finaldata[65535];
    finaldata[0] = '\0';
    // Store the chunks of text into a line buffer
    size_t len = sizeof(chunk);

    while(fgets(chunk, sizeof(chunk), fp) != NULL) {
        //fputs(chunk, stdout);
        int a=0;

        if((chunk[7] == '0') && (chunk[8] == '0')) {
            size_t length = strlen(chunk);

            while (a < (length-13)) {
                sub[a]=chunk[9+a];
                a++;

            }
        }
        strcat(finaldata, sub);
        fputs(finaldata, stdout);
        memset(sub,0,sizeof(sub));
         printf("\n\n");

    }

    fclose(fp);

    printf("\n\nMax line size: %zd\n", len);

    return 0;
}

Answer 1

你说：

读取直到结束，除了最后一个字节（这是校验和）

但如果我申请 :10C00000814202D8BFF32F8F10BD441C42E8004366 你的代码

    int a=0;

    if((chunk[7] == '0') && (chunk[8] == '0')) {
        size_t length = strlen(chunk);

        while (a < (length-13)) {
            sub[a]=chunk[9+a];
            a++;
        }
    }

sub 值 814202D8BFF32F8F10BD441C42E8004，因此您删除了行尾的 366 而不仅仅是 66

---

根据你的评论

当使用 malloc() 函数定义 char 数组时，由于我不知道确切的大小，我应该放什么大小？

如果你想折叠一个字符串中的所有子字符串，一种方法是从一个大小为 1 的数组开始，用于空终止字符，然后使用 malloc 每行增加它。例如：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main(int argc, char ** argv)
{
  if (argc != 2) {
    fprintf(stderr, "Usage: %s <file>\n", *argv);
    exit(1);
  }

  FILE *fp = fopen(argv[1], "rb");

  if (fp == NULL) {
    perror("Unable to open file!");
    exit(1);
  }

  size_t sz = 0; /* without counting the char for \n */
  char * finaldata = malloc(1);
  char chunk[128];

  while (fscanf(fp, " %127s", chunk) == 1) {
    if((chunk[7] == '0') && (chunk[8] == '0')) {
      if (strlen(chunk) != 43) {
        fprintf(stderr, "unexpected line '%s'\n", chunk);
        exit(1);
      }

      chunk[41] = 0; /* remove two last chars */

      char * s = realloc(finaldata, sz + 32 +1); /* + block + \n */

      if (s == NULL) {
        fputs("not enough memory", stderr);
        free(finaldata); /* for valgrind etc */
        exit(1);
      }

      finaldata = s;
      strcpy(finaldata + sz, chunk + 9);
      sz += 32;
    }
  }

  fclose(fp);
  finaldata[sz] = '\0';

  /* debug */
  puts(finaldata);

  free(finaldata); /* for valgrind etc */

  return 0;
}

我使用fscanf 绕过可能的空格，包括要管理的部分前后的换行符。在" %127s" 格式中，请注意“%”之前的空格，以及 127，即 128 减 1，以便放置空终止字符。

编译和执行：

pi@raspberrypi:/tmp $ gcc -Wall c.c
pi@raspberrypi:/tmp $ cat f
:020000040200F1
:10C00000814202D8BFF32F8F10BD441C42E8004366
:020000040200F1
:10C00000123456789abcdef0123456789abcdef012
pi@raspberrypi:/tmp $ ./a.out f
814202D8BFF32F8F10BD441C42E80043123456789abcdef0123456789abcdef0
pi@raspberrypi:/tmp $