使用也处理撇号的正则表达式匹配单词

Question

我必须将一行文本分成单词，并且对使用什么正则表达式感到困惑。 我到处寻找一个匹配一个单词的正则表达式，并找到了与这篇文章类似的正则表达式，但在 java 中需要它（java 不处理常规字符串中的 \）。

Regex to match words and those with an apostrophe

我已经为每个答案尝试了正则表达式，但不确定如何为此构建 Java 正则表达式（我假设所有正则表达式都是相同的）。如果在我看到的正则表达式中将 \ 替换为 \，则正则表达式不起作用。

我也尝试过自己查找并来到此页面： http://www.regular-expressions.info/reference.html

但我无法完全理解正则表达式的高级技术。

我正在使用 String.split(regex string here) 来分隔我的字符串。 一个例子是，如果我得到以下信息： “我喜欢吃，但我不喜欢吃每个人的食物，否则他们会饿死。” 我要匹配：

I
like
to
eat
but
I
don't
like
to
eat
everyone's
food
or
they'll
starve

我也不想匹配 '' 或 '''' 或 ' ' 或 '.'' 或其他排列。 我的分隔符条件应该类似于： [匹配任何单词字符][如果撇号前面有单词字符，也匹配撇号，如果有则匹配它后面的单词字符]

我得到的只是一个匹配单词 [\w] 的简单正则表达式，但我不确定如何使用前瞻或后视来匹配撇号，然后匹配剩余的单词。

Answer 1

使用我评论中所述页面上WhirlWind 的回答，您可以执行以下操作：

String candidate = "I \n"+
    "like \n"+
    "to "+
    "eat "+
    "but "+
    "I "+
    "don't "+
    "like "+
    "to "+
    "eat "+
    "everyone's "+
    "food "+
    "''  ''''  '.' ' "+
    "or "+
    "they'll "+
    "starv'e'";

String regex = "('\\w+)|(\\w+'\\w+)|(\\w+')|(\\w+)";
Matcher matcher = Pattern.compile(regex).matcher(candidate);
while (matcher.find()) {
  System.out.println("> matched: `" + matcher.group() + "`");
}

它将打印：

> matched: `I`
> matched: `like`
> matched: `to`
> matched: `eat`
> matched: `but`
> matched: `I`
> matched: `don't`
> matched: `like`
> matched: `to`
> matched: `eat`
> matched: `everyone's`
> matched: `food`
> matched: `or`
> matched: `they'll`
> matched: `starv'e`

您可以在此处找到一个运行示例：http://ideone.com/pVOmSK

Answer 2

以下正则表达式似乎正确地涵盖了您的示例字符串。但它不包括撇号的场景。

[\s,.?!"]+

Java 代码：

String input = "I like to eat but I don't like to eat everyone's food, or they'll starve.";
String[] inputWords = input.split("[\\s,.?!]+");

如果我理解正确，撇号应该放在一个单词字符之后。下一个正则表达式应涵盖上述内容以及撇号的特殊情况。

(?<!\w)'|[\s,.?"!][\s,.?"'!]*

Java 代码：

String input = "I like to eat but I don't like to eat everyone's food, or they'll starve.";
String[] inputWords = input.split("(?<!\\w)'|[\\s,.?\"!][\\s,.?\"'!]*");

如果我在字符串上运行第二个正则表达式：Hey there! Don't eat 'the mystery meat'. 我在字符串数组中得到以下单词：

Hey
there
Don't
eat
the
mystery
meat'