匹配和替换字符串中的表情符号 - 最有效的方法是什么？

Question

Wikipedia 定义了许多人们可以使用的表情符号。我想将此列表与字符串中的单词匹配。我现在有这个：

$string = "Lorem ipsum :-) dolor :-| samet";
$emoticons = array(
  '[HAPPY]' => array(' :-) ', ' :) ', ' :o) '), //etc...
  '[SAD]'   => array(' :-( ', ' :( ', ' :-| ')
);
foreach ($emoticons as $emotion => $icons) {
  $string = str_replace($icons, " $emotion ", $string);
}
echo $string;

输出：

Lorem ipsum [HAPPY] dolor [SAD] samet

所以原则上这是可行的。但是，我有两个问题：

1234563有没有办法在没有空格的情况下存储表情符号，但仍然与周围有空格的 $string 匹配？ （和现在的代码一样高效？）

1. 或者有没有办法将表情符号放在一个变量中，然后在空间上爆炸以检查 $string？类似的东西

   $表情符号 = 数组（ '[HAPPY]' => ">:] :-) :) :o) :] :3 :c) :> =] 8) =) :} :^)", '[SAD]' => ":'-( :'( :'-) :')" //etc...

2. str_replace 是最有效的方法吗？

我问是因为我需要检查数百万个字符串，所以我正在寻找最有效的方法来节省处理时间:)

Answer 1

这是使用来自 CPAN 的 Perl 3rd-party Regexp::Assemble 模块的想法。例如，给定这个程序：

#!/usr/bin/env perl
use utf8;
use strict;
use warnings;

use Regexp::Assemble;

my %faces = (
    HAPPY => [qw¡ :-) :) :o) :-} ;-} :-> ;-} ¡],
    SAD   => [qw¡ :-( :( :-| ;-) ;-( ;-< |-{ ¡],
);

for my $name (sort keys %faces) {
    my $ra = Regexp::Assemble->new();
    for my $face (@{ $faces{$name} }) {
        $ra->add(quotemeta($face));
    }
    printf "%-12s => %s\n", "[$name]", $ra->re;
}

它会输出这个：

[HAPPY]      => (?-xism:(?::(?:-(?:[)>]|\})|o?\))|;-\}))
[SAD]        => (?-xism:(?::(?:-(?:\||\()|\()|;-[()<]|\|-\{))

那里有一些你可能并不真正需要的额外东西，所以这些会减少到：

[HAPPY]      => (?:-(?:[)>]|\})|o?\))|;-\}
[SAD]        => (?:-(?:\||\()|\()|;-[()<]|\|-\{

左右。您可以将其构建到您的 Perl 程序中以修剪额外的位。然后您可以将右侧直接放入您的preg_replace。

我使用use utf8 的原因是我可以使用¡ 作为我的qw// 分隔符，因为我不想搞乱里面的转义。

如果整个程序都在 Perl 中，您就不需要这样做，因为现代版本的 Perl 已经知道会自动为您执行此操作。但是了解如何使用该模块仍然很有用，这样您就可以生成用于其他语言的模式。

Answer 2

如果您要替换表情符号的 $string 是由您网站的访问者提供的（我的意思是它是用户的输入，例如评论或其他内容），那么您不应该转发之前或之后会有空格图释。还有至少几个表情符号，它们非常相似但又不同，比如:-) 和:-))。 所以我认为如果你像这样定义你的表情符号数组，你会得到更好的结果：

$emoticons = array(
    ':-)' => '[HAPPY]',
    ':)' => '[HAPPY]',
    ':o)' => '[HAPPY]',
    ':-(' => '[SAD]',
    ':(' => '[SAD]',
    ...
)

当您填写所有查找/替换定义时，您应该以某种方式重新排序此数组，这样就没有机会将 :-)) 替换为 :-)。我相信如果您按长度对数组值进行排序就足够了。这是为了以防您要使用 str_replace()。 strtr() 会自动按长度排序！

如果您担心性能，可以查看strtr vs str_replace，但我建议您自己进行测试（您可能会得到关于您的 $string 长度和查找/替换定义的不同结果）。

如果您的“查找定义”不包含尾随空格，则最简单的方法是：

$string = strtr( $string, $emoticons );
$emoticons = str_replace( '][', '', trim( join( array_unique( $emoticons ) ), '[]' ) );
$string = preg_replace( '/\s*\[(' . join( '|', $emoticons ) . ')\]\s*/', '[$1]', $string ); // striping white spaces around word-styled emoticons

Answer 3

我会首先尝试最简单的实现，使用str_replace 和那些带有空格的数组。如果性能不可接受，请尝试每种情绪的单个正则表达式。这压缩了很多东西：

$emoticons = array(
  '[HAPPY]' => ' [:=]-?[\)\]] ', 
  '[SAD]'   => ' [:=]-?[\(\[\|] '
);

如果性能仍然无法接受，您可以使用更高级的东西，例如后缀树（请参阅：http://en.wikipedia.org/wiki/Suffix_tree），它允许您对所有表情符号只扫描一次字符串。这个概念很简单，你有一棵树，它的根是一个空格（因为你想在表情符号之前匹配一个空格），第一个孩子是'：'和'='，然后'：'的孩子是']'， ')'、'-' 等。您有一个循环逐个字符地扫描字符串。当你找到一个空格时，你移动到树中的下一个级别，然后查看下一个字符是否是该级别的节点之一（'：'或'='），如果是，则移动到下一级，等等. 如果在任何时候，当前 char 不是当前关卡中的节点，则返回 root。

Answer 4

简介评论：请一次只问一个问题。你会得到比这更好的答案。除此之外，如果您不向我们展示您迄今为止所做的指标，您将无法获得好的性能建议。

从您的代码中我可以看出，您执行了两次可以保存的字符串处理，将替换内容放入特定的空格中。你可以先用你的定义展开它：

$emoticons = array(
  ' [HAPPY] ' => array(' :-) ', ' :) ', ' :o) '), //etc...
  ' [SAD] '   => array(' :-( ', ' :( ', ' :-| ')
);

foreach ($emoticons as $replace => $search)
{
  $string = str_replace($search, $replace, $string);
}

每次调用它时，这将为您节省几分之一微秒，从而为您提供更好的性能，您可能不会注意到。这让我想到你应该用 C 编写并编译它。

更接近 C 的是使用编译一次然后重新使用的正则表达式，这已经在另一个答案中提出。这样做的好处是，如果您多次运行相同的表达式 并且 您可以预先生成正则表达式，那么您可能会以最快的方式使用 PHP 执行此操作，因此您可以将其存储为以下格式更容易编辑。然后，您可以缓存正则表达式，以防您几乎需要调整性能。

1。如您所见，我在数组中的每个表情符号周围放置了空格，例如“:-)”而不是“:-)”，我认为这使数组的可读性降低。有没有办法在没有空格的情况下存储表情符号，但仍然与周围有空格的 $string 匹配？ （和现在的代码一样高效？）

是的，这是可能的，但在您需要将配置数据进一步处理为替换数据的意义上，这不是更有效。不知道您真正谈论哪种效率，但我假设后者，所以答案是可能的，但不适合您非常特殊的用例。通常我更喜欢更容易编辑的东西，也就是说你处理它的效率更高，而不是关心处理速度，因为通过将处理分布在多台计算机上可以很好地缩短处理速度。

2。或者有没有办法将表情符号放在一个变量中，并在空间上爆炸以检查 $string？类似的东西

$emoticons = array( '[HAPPY]' => ">:] :-) :) :o) :] :3 :c) :> =] 8) =) :} :^)", '[SAD]' => ":'-( :'( :'-) :')" //etc...

当然，这是可能的，但您会遇到与 1 中相同的问题。

3。 str_replace 是最有效的方法吗？

现在有了您提供的代码，这是您询问的唯一方式。由于您告诉我们没有其他选择，它至少对您有用，这是目前最有效的方式。所以现在，是的。

Answer 5

这听起来像是正则表达式的一个很好的应用程序，它是一个模糊文本匹配和替换的工具。 str_replace 是一个精确文本搜索和替换的工具；正则表达式将让您搜索“类似于 this 的文本”的整个类，其中 this 是根据您将接受的字符类型、数量来定义的其中，以什么顺序等。

如果你使用正则表达式，那么……

1. \s 通配符将匹配空格，因此您可以匹配 \s$emotion\s。

   （还要考虑表情符号出现在字符串末尾的情况——即that was funny lol :)——你不能总是假设表情符号周围会有空格。你可以编写一个正则表达式来处理这个问题。）

2. 您可以编写一个正则表达式来匹配列表中的任何表情符号。您可以使用交替符号 | 来执行此操作，您可以将其读取为 OR 符号。语法是 (a|b|c) 以匹配模式 a OR b OR c。

   例如，(:\)|:-\)|:o\)) 将匹配任何:),:-),:o)。请注意，我必须转义 )，因为它们在正则表达式中具有特殊含义（括号用作分组运算符。）

3. 过早的优化是万恶之源。

   先尝试最明显的东西。如果这不起作用，您可以稍后对其进行优化（在您分析代码以确保这确实会给您带来切实的性能优势之后。）

如果您想学习正则表达式，请尝试TextWrangler manual 的第 8 章。这是对正则表达式的使用和语法的非常容易理解的介绍。

注意：我的建议与编程语言无关。我的 PHP-fu 比我的 Python-fu 弱得多，所以我不能提供示例代码。 :(