有条件地标记化的有效方法答案

【问题标题】：Efficient way to tokenize conditionally有条件地标记化的有效方法
【发布时间】：2015-04-23 01:22:59
【问题描述】：

给定用户输入字符串：

“大型机/pl/sql；软件测试/PL/SQL/项目管理/”

什么是标记字符串的好方法，如果它是“PL / SQL”的一部分，则保留'/'，否则不提供标记：

“大型机”、“pl/sql”、“软件测试”、“PL/SQL”、“项目管理”

这是因为用户可能不小心输入了“/”字符作为分隔符。

【问题讨论】：

标签： c# string tokenize

【解决方案1】：

如果令牌的顺序不重要，那么这样的事情可能会起作用：

public IEnumerable<string> Tokenise()
{
    var input = "Mainframes/pl/ sql; Software Testing/PL/SQL/Project management/";
    var results = new List<string>();

    foreach (Match match in Regex.Matches(input, @"pl\s*/\s*sql", RegexOptions.IgnoreCase))
    {
        results.Add(match.Value);
    }

    input = Regex.Replace(input, @"pl\s*/\s*sql", string.Empty, RegexOptions.IgnoreCase);

    results.AddRange(input.Split(new []{'/'}, StringSplitOptions.RemoveEmptyEntries));

    return results;
}

首先搜索 pl/sql 标记（考虑空格和大写的差异），然后将它们从输入字符串中剥离出来，并对剩余的“/”字符执行简单的拆分。缺点是令牌的顺序会与输入字符串不同。

【讨论】：