仅拆分特殊字符上的文本，但不拆分带小数点的数字

Question

我正在考虑 PHP 中的一个特殊的正则表达式问题，但我找不到解决方案。 我尝试将一些文本拆分为术语，以获得简单的单词、数字和网址。

所以我决定拆分每个非字母数字字符 (\w)。

为了处理不同的语言，我将 \w 与其他字母一起使用，例如 Ää éèÈ 等。

例子：

20,000 15.20 This is at Text. Right?!
www.google.com Jean Béraud

到目前为止，我使用以下正则表达式来拆分文本：

[^\w(äÄüÜöÖßèé)]

http://regexr.com?2uq98

这在 80% 的情况下效果很好，但将 20,000 分为 20 和 000 也将 www.google.com 分为 www google com

所以我试图把数字放在一起，但仍然在分数上分开，比如Text. 得到Text

为了匹配 15.20，以下方法有效：(\d+\.\d+)，但是如何将否定与其他正则表达式字符串结合起来？以下将不起作用：(\d+\.\d+)|[^\w(äÄüÜöÖßèé)]?
以及：如何处理网址？

Answer 1

这样的？

$result = preg_split('/\W*\s+/', $string, NULL, PREG_SPLIT_NO_EMPTY);

Demo，结果：

array(10) {
  [0]=>
  string(6) "20,000"
  [1]=>
  string(5) "15.20"
  [2]=>
  string(4) "This"
  [3]=>
  string(2) "is"
  [4]=>
  string(2) "at"
  [5]=>
  string(4) "Text"
  [6]=>
  string(5) "Right"
  [7]=>
  string(14) "www.google.com"
  [8]=>
  string(4) "Jean"
  [9]=>
  string(7) "Béraud"
}

问：为什么在我的示例中\w 与é 匹配？

A：这是基于使用 PCRE 库的系统的本地，来自PHP Manual：

“单词”字符是任何字母或数字或下划线字符，即任何可以成为 Perl“单词”一部分的字符。字母和数字的定义由 PCRE 的字符表控制，并且如果发生特定于语言环境的匹配，可能会有所不同。例如，在“fr”（法语）语言环境中，一些大于 128 的字符代码用于重音字母，这些字符由 \w 匹配。

另外，将正则表达式指定为使用 UTF-8 可能会有所帮助：

$result = preg_split('/\W*\s+/u', $string, NULL, PREG_SPLIT_NO_EMPTY);

确保 $string 采用 UTF-8 编码。由于 UTF-8 是国际性的，因此可能不需要考虑特定的区域设置。试试看吧。

Answer 2

根据@hakre 的回答和您的示例，我相信您应该以这种方式组合这两个表达式：

$result = preg_split('/[^\wäÄüÜöÖßèé]*\s+[^\wäÄüÜöÖßèé]*/', $string, NULL, PREG_SPLIT_NO_EMPTY);

您的原始表达式成功匹配了适当的字符（[^\w(äÄüÜöÖßèé)] 部分）。

@hakre 的表达式补充说，可以有任意数量的这些字符（甚至没有字符），并且后面还应该有一个或多个空格实例（\s+ 部分）。

当你把这两个想法结合起来，你得到[^\wäÄüÜöÖßèé]*\s+[^\wäÄüÜöÖßèé]*，它基本上翻译成

任意数量的不在此字符类中的字符，后跟至少一个空白字符，然后可能后跟任意数量的不在此字符类中的字符

或

一个或多个空白字符，以及不在此字符类中的任意数量的字符，无论是之前还是之后

作为测试，我使用了这个文本示例（我假设你想匹配法语字符）：

20,000 15.20 This is at Text. Right?!
www.google.com Comme son élève, où dois-je aller voir Jean Béraud?

还有这个正则表达式： 已编辑

/[^\wßàâäèéêëîïôöœùûüÿç]*(^|$|\s+)[^\wßàâäèéêëîïôöœùûüÿç]*/i

通过@hakre 使用的同一网站：

http://codepad.viper-7.com/MqztVt

结束编辑

此测试表明，即使单词以特殊字符之一开头或结尾，表达式也会拆分。我在表达式末尾添加了/i 开关以使匹配不区分大小写。