正则表达式识别多行文本中的连续和非连续重复词

Question

我正在为具有关键字和逗号（分隔）/分号（EOL）分隔值的文件编写语法检查器（在 Java 中）。两个完整结构之间的空格数量未指定。

需要什么：

在多行文件中查找任何重复的单词（连续的和不连续的）。

// Example_1 (duplicate 'test'):
item1  , test, item3   ;
item4,item5;
test , item6;

// Example_2 (duplicate 'test'):
item1  , test, test   ;
item2,item3;

我已尝试应用 (\w+)(s*\W\s*\w*)*\1 模式，但无法正确捕获重复项。

Answer 1

您可以将此正则表达式与模式 DOTALL（单行）一起使用：

(?s)(\b\w+\b)(?=.*\b\1\b)

RegEx Demo

正则表达式详细信息：

• (?s)：开启DOTALL模式
• (\b\w+\b)：匹配一个完整的单词并在#1组中捕获它
• (?=.*\b\1\b)：提前断言我们在前面的某个地方有反向引用\1。 \b 用于确保我们再次匹配完全相同的单词。

---

另外：

基于下面的早期 cmets，如果意图不匹配连续的单词重复，如 item1 item1，则可以使用以下正则表达式：

(?s)(\b\w+\b)(?!\W+\1\b)(?=.*\b\1\b)

RegEx Demo 2

这里有一个额外的否定前瞻断言，以确保我们不匹配连续重复。

• (?!\W+\1\b)：负前瞻使匹配失败连续重复。

Answer 2

你可以使用

\b(\w+)\b(?:\s*[^\w\s]\s*\w+)+\s*[^\w\s]\s*\b\1\b

见regex demo

详情

• \b(\w+)\b - 第 1 组：一个或多个单词字符作为一个完整的单词
• (?:\s*[^\w\s]\s*\w+)+ - 1 次或多次出现：
  • \s* - 0+ 个空格
  • [^\w\s] - 1 个字符而不是单词和空格字符
  • \s* - 0+ 个空格
  • \w+ - 1+ 个单词字符
• \s* - 0+ 个空格
  • [^\w\s] - 1 个字符而不是单词和空格字符
  • \s* - 0+ 个空格
• \b\1\b - 与第 1 组中的值相同。

要只匹配单词，请将正则表达式的第二部分放入正向前瞻中：

\b(\w+)\b(?=(?:\s*[^\w\s]\s*\w+)+\s*[^\w\s]\s*\b\1\b)
         ^^^                                        ^

见this regex demo。

Java 正则表达式变量声明：

String regex = "\\b(\\w+)\\b(?:\\s*[^\\w\\s]\\s*\\w+)+\\s*[^\\w\\s]\\s*\\b\\1\\b";

要使其完全支持 Unicode，请添加 (?U):

String regex = "(?U)\\b(\\w+)\\b(?:\\s*[^\\w\\s]\\s*\\w+)+\\s*[^\\w\\s]\\s*\\b\\1\\b";