【发布时间】:2015-11-13 13:46:37
【问题描述】:
我正在编写一个程序来将文件解析为另一种格式。 输入文件大小为 20Gb,因此我转向 C 对其进行解析,但是当我的输出文件达到 4.3Gb(大约是 41 秒标记)时,程序会出现分段错误。
当拖尾输出文件时,它向我显示它已停止在写入过程中提供输出。
输入文件位于ftp://ftp.uniprot.org/pub/databases/uniprot/current_release/knowledgebase/idmapping/,文件被压缩为idmapping.dat.gz
该程序预计会解析整个文件,而不仅仅是给出分段错误。
int main()
{
char line[256];
char placeholdertoken[256];
char placeholderline[256];
char *token1, *token2, *token3;
char *chdup;
char *tab, *newline, *semicolom, *empty;
FILE *fp;
FILE *fs;
fp = fopen("idmapping.dat", "r");
fs = fopen("parsedidmapping.dat", "w");
if( fp == NULL )
{
perror("Error while opening the file.\n");
exit(EXIT_FAILURE);
}
strcpy(tab,"\t");
strcpy(newline,"\n");
strcpy(semicolom,";");
strcpy(empty,"");
strcpy(placeholdertoken,"");
while (fgets(line, sizeof(line), fp) != NULL)
{
token1 = strtok(line, "\t");
token2 = strtok(NULL, "\t");
token3 = strtok(NULL, "\n");
if (strcmp(token1, placeholdertoken) == 0) {
strcat(placeholderline, token2);
strcat(placeholderline, semicolom);
strcat(placeholderline, token3);
strcat(placeholderline, tab);
}
else {
strcat(placeholderline, newline);
strcpy(placeholdertoken,token1);
fputs(placeholderline, fs);
strcpy(placeholderline, empty);
strcat(placeholderline, token1);
strcat(placeholderline, tab);
strcat(placeholderline, token2);
strcat(placeholderline, semicolom);
strcat(placeholderline, token3);
strcat(placeholderline, tab);
}
}
fclose(fs);
fclose(fp);
return 0;
}
【问题讨论】:
-
在此处发布您的代码。
-
为了后代和方便,您应该在此处发布您的源代码,而不是仅仅链接到它。
-
您的
placeholderline变量从未初始化,但您正在strcat()-ing 并在各个地方为其分配字符。我很惊讶这段代码一开始就可以工作。 -
虽然可能只是巧合,但 43 亿是 uint32_t 的溢出点
-
@RussSchultz 我确实已将编译器更改为编译为 64 位,现在它一直上升到 4.9Gb,但它仍然给出了分段错误。
标签: c segmentation-fault