Boost.Tokenizer 如何不从标记中删除分隔符

Question

是否有可能不删除字符，它们是 char_separators 用于 boost::tokenizer？

如果是，怎么做？

我想将字符串“[a]str1[/a][b]str2[/b]”标记为：

[a]、str1、[/a]、[b]、str2、[/b]

我的分隔符是字符：“”，默认情况下会删除它们。

Answer 1

根据documentation，char_separator的构造函数有3个参数：const Char* dropped_delims、const Char* kept_delims、empty_token_policy empty_tokens。

只需将分隔符传递给kept_delims 而不是dropped_delims（即作为第二个参数）。然后它们将作为单独的令牌返回。