strdup 和 strtok 导致的段错误

Question

我的大学教授给我布置了作业，我似乎发现了strtok 的一些奇怪行为

基本上，我们必须为我的班级解析一个 CSV 文件，其中 CSV 中的标记数量是已知的，并且最后一个元素可能有额外的 "," 字符。

一行示例：

Hello,World,This,Is,A lot, of Text

标记应该在哪里输出

1. Hello
2. World
3. This
4. Is
5. A lot, of Text

对于这项任务，我们必须使用strtok。因此，我在其他一些 SOF 帖子中发现，使用带有空字符串的strtok（或将"\n" 作为第二个参数传递）会导致读取到行尾。这非常适合我的应用程序，因为多余的逗号总是出现在最后一个元素中。

我创建了这个有效的代码：

#include <string.h>
#include <stdlib.h>
#include <stdio.h>

#define NUM_TOKENS 5

const char *line = "Hello,World,This,Is,Text";

char **split_line(const char *line, int num_tokens)
{
    char *copy = strdup(line);

    // Make an array the correct size to hold num_tokens
    char **tokens = (char**) malloc(sizeof(char*) * num_tokens);

    int i = 0;
    for (char *token = strtok(copy, ",\n"); i < NUM_TOKENS; token = strtok(NULL, i < NUM_TOKENS - 1 ? ",\n" : "\n"))
    {
        tokens[i++] = strdup(token);
    }

    free(copy);

    return tokens;
}

int main()
{
    char **tokens = split_line(line, NUM_TOKENS);

    for (int i = 0; i < NUM_TOKENS; i++)
    {
        printf("%s\n", tokens[i]);
        free(tokens[i]);
    }
}

现在这可行，应该得到我的充分信任，但我讨厌这个不应该需要的三元：

token = strtok(NULL, i < NUM_TOKENS - 1 ? ",\n" : "\n");

我想用这个版本替换方法：

char **split_line(const char *line, int num_tokens)
{
    char *copy = strdup(line);

    // Make an array the correct size to hold num_tokens
    char **tokens = (char**) malloc(sizeof(char*) * num_tokens);

    int i = 0;
    for (char *token = strtok(copy, ",\n"); i < NUM_TOKENS - 1; token = strtok(NULL, ",\n"))
    {
        tokens[i++] = strdup(token);
    }

    tokens[i] = strdup(strtok(NULL, "\n"));

    free(copy);

    return tokens;
}

这更让我觉得好笑，因为更容易看出有一个最终案例。你也摆脱了奇怪的三元运算符。

可悲的是，这个段错误！我一辈子都想不通为什么。

编辑：添加一些输出示例：

[11:56:06] gravypod:test git:(master*) $ ./test_no_fault 
Hello
World
This
Is
Text
[11:56:10] gravypod:test git:(master*) $ ./test_seg_fault 
[1]    3718 segmentation fault (core dumped)  ./test_seg_fault
[11:56:14] gravypod:test git:(master*) $ 

Answer 1

在您冒险将NULL 传递给另一个函数之前，请检查来自strtok 的返回值。您的循环调用strtok 的次数比您想象的要多。

更常见的是使用这个返回值来控制你的循环，这样你就不会受到数据的支配。至于分隔符，最好保持简单，不要尝试任何花哨的东西。

char **split_line(const char *line, int num_tokens)
{
    char *copy = strdup(line);
    char **tokens = (char**) malloc(sizeof(char*) * num_tokens);
    int i = 0;
    char *token;
    char delim1[] = ",\r\n";
    char delim2[] = "\r\n";
    char *delim = delim1;                   // start with a comma in the delimiter set

    token = strtok(copy, delim);
    while(token != NULL) {                  // strtok result comtrols the loop
        tokens[i++] = strdup(token);
        if(i == NUM_TOKENS) {
            delim = delim2;                 // change the delimiters
        }
        token = strtok(NULL, delim);    
    }
    free(copy);
    return tokens;
}

请注意，您还应该检查 malloc 和 strdup 的返回值并正确释放内存

Answer 2

当你到达最后一个循环时，你会得到

for (char *token = strtok(copy, ",\n"); i < NUM_TOKENS - 1; token = strtok(NULL, ",\n"))

1. 循环体
2. 循环递增步骤，即token = strtok(NULL, ",\n")（第二个参数错误）
3. 循环继续检查i < NUM_TOKENS - 1

即即使您现在超出范围，它仍然调用strtok。您在这里的数组索引上也有一个不一致的地方：您需要初始化 i=0 而不是 1。

你可以避免这种情况，例如

• 使初始 strtok 成为循环外的特殊情况，例如

  int i = 0;
  tokens[i++] = strdup(strtok(copy, ",\n"));
  

• 然后在循环内移动strtok(NULL, ",\n")

我也很惊讶你想要 \n 在那里，甚至需要调用最后一个 strtok （那不是已经指向字符串的其余部分了吗？如果你只是想砍掉一个尾随的换行符有更简单的方法）但我已经多年没有使用 strtok 了。

（顺便说一句，您也没有释放存储字符串指针的 malloced 数组。也就是说，因为此时程序结束并不重要。）

Answer 3

请记住，strtok 在找到分隔符字符串（strtok() 的第二个参数）中的 任何 个字符时会识别标记 - 它不会尝试匹配整个分隔符字符串自己。

因此，从一开始就不需要三元运算符 - 字符串将根据输入字符串中 , 或 \n 的出现进行标记，因此以下工作：

for (token = strtok(copy, ",\n"); i < NUM_TOKENS; token = strtok(NULL, ",\n"))
{                                                                                                         
    tokens[i++] = strdup(token);                                                                          
} 

第二个示例出现段错误，因为它在退出 for 循环时已经将输入标记到字符串的末尾。再次调用strtok() 会将token 设置为NULL，并且在NULL 指针上调用strdup() 时会产生段错误。删除对strtok 的额外调用会得到预期的结果：

for (token = strtok(copy, ",\n"); i < NUM_TOKENS - 1; token = strtok(NULL, ",\n"))
{                                                                                 
    tokens[i++] = strdup(token);                                                  
}                                                                                 
tokens[i] = strdup(token);