在 C++ 中使用多个分隔符拆分字符串 [重复]

Question

所以我必须将短语：“大家好！这是：COSC-1436，SP18”分成单独的标记，忽略任何标点符号减去破折号。所以输出应该是：

你好

大家

这个

是

COSC-1436

SP18

然后我必须加密我得到的每个令牌。我只是在使用多个分隔符时遇到了麻烦。这是我目前拥有的。

函数原型： void tokenize(const string&, const string&, vector<string>&);

函数调用： tokenize(code, " .,:;!?", tokens);

函数定义：

void tokenize(const string& str, const string& delim, vector<string>& tokens)
{
    int tokenStart = 0;

    int delimPos = str.find_first_of(delim);

    while(delimPos != string::npos)
    {
        string tok = str.substr(tokenStart, delimPos - tokenStart);

        tokens.push_back(tok);

        delimPos++;

        tokenStart = delimPos;

        delimPos = str.find_first_of(delim, delimPos);

        if(delimPos == string::npos)
        {
            string tok = str.substr(tokenStart, delimPos - tokenStart);

            tokens.push_back(tok);
        }   
    }
}

唯一的问题是程序遇到标点符号的地方现在有作为空格的标记。有什么建议吗？

Answer 1

找到分隔符后，您应该将子字符串开头移动到字符 first_not_of 您的分隔符。基本改变：

delimPos++;

到：

delimPos = str.find_first_not_of(delim, delimPos + 1);

这将确保当您连续有 2 个或更多分隔符时，delimPos 会移到最后一个之外。

您也可以试试这个：

#include <iostream> 
#include <string>

int main()
{
    std::string str = "Hello, everyone! This is: COSC-1436, SP18";
    std::string const delims{ " .,:;!?" };

    size_t beg, pos = 0;
    while ((beg = str.find_first_not_of(delims, pos)) != std::string::npos)
    {
        pos = str.find_first_of(delims, beg + 1);
        std::cout << str.substr(beg, pos - beg) << std::endl;
    }

    return 0;
}

https://ideone.com/LJota9

Hello
everyone
This
is
COSC-1436
SP18

Answer 2

您可以只使用std::regex_iterator，因为这正是它的设计目的。

#include <regex>
#include <iostream>
#include <string>

int main()
{
    const std::string s = "Hello, everyone! This is: COSC-1436, SP18";

    std::regex words_regex("[^\\s.,:;!?]+");
    auto words_begin = std::sregex_iterator(s.begin(), s.end(), words_regex);
    auto words_end = std::sregex_iterator();

    for (std::sregex_iterator i = words_begin; i != words_end; ++i)
        std::cout << (*i).str() << '\n';
}

完整程序的输出将是这个。

Hello
everyone
This
is
COSC-1436
SP18