使用 strtok 解析单词

Question

我想对strtok() 说，除了字母数字字符之外的所有内容都用作分隔符。

我的尝试是ref的例子：

/* strtok example */
#include <stdio.h>
#include <string.h>

int main ()
{
  char str[] ="- This, a sample string.";
  char * pch;
  printf ("Splitting string \"%s\" into tokens:\n",str);
  pch = strtok (str," ,.-");
  while (pch != NULL)
  {
    printf ("%s\n",pch);
    pch = strtok (NULL, " ,.-");
  }
  return 0;
}

但是，我将解析真实的文本文件（包含对网站的评论）。目前，我检查是否出现了其他分隔符，并增加了strtok() 的第二个参数。例如，我看到了[，所以我做了" ,.-[" 等等，但是好吧，我可能会遗漏一些东西，也许一个新的文本文件包含一个新的分隔符。

我不能做一些更聪明的事情（实际上是正确的，因为事实并非如此）吗？

例如，如果我得到：

[Hello_sir I'm George]

我想获得这些代币：

Hello
sir
I
m
George

问题是我不知道哪些是分隔符。

我想说除了字母数字字符之外的所有内容都用作分隔符。

---

编辑

我想逐个字符检查它是否是字母数字，但我希望有一些内置的东西，比如根据需要提供strtok()。

Answer 1

使用strtok（不使用其他内容覆盖源字符串的非字母数字字符）的唯一方法是传递一个包含所有非字母数字字符的分隔符字符串。您可以像这样在第一次运行时构建一次：

static char delims[256]; /* this is oversized */

...

void
initdelims()
{
    int i;
    int j = 0;
    for (i = 1; i<256; i++)
    {
        if (!isalnum(i))
            delims[j++] = i;
    }
    delims[j] = 0; /* this is unnecessary as statics are initialised to zero */
}

然后使用delims 作为您的分隔符字符串。

但是，这既丑陋又低效。您最好编写一个手动解析器，如有必要，借用source to strtok。

Answer 2

您可以在一个字符串中一次性收集非字母数字字符，然后将该字符串用作strtok() 的分隔符集：

char delims[(1 << CHAR_BIT) + 1] = { 0 };
for (int i = 0, j = 0; i < sizeof delims - 1; i++) {
    if (!isalnum(i)) {
        delims[j++] = i;
    }
}

pch = strtok(str, delims);
while (pch != NULL)
{
    printf ("%s\n",pch);
    pch = strtok(NULL, delims);
}