在 PHP 中转义 elasticsearch 特殊字符

Question

我想创建一个函数，通过在 PHP 中的字符前添加 \ 来转义 elasticsearch 特殊字符。 Elasticsearch 使用的特殊字符是： + - = && || >

我对正则表达式不是很熟悉，但我发现了一段代码可以简单地删除特殊字符，但我更喜欢转义它们，因为这可能是相关的。我使用的代码：

$s_input = 'The next chars should be escaped: + - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ / Did it work?';
$search_query = preg_replace('/(\+|\-|\=|\&|\||\!|\(|\)|\{|\}|\[|\]|\^|\"|\~|\*|\<|\>|\?|\:|\\\\)/', '', $s_input);

这个输出：

The next chars should be escaped / Did it work

所以有两个问题：这段代码删除了特殊字符，而我想用\ 转义它们。此外：此代码不会转义 \。有谁知道如何逃避 Elasticsearch 特殊字符？

Answer 1

您可以将preg_match 与 backreferences 一起使用，因为 stribizhev 已经注意到它（最简单的方式）：

$string = "The next chars should be escaped: + - = && || > < ! ( ) { } [ ] ^ \" ~ * ? : \ / Did it work?"; 

function escapeElasticReservedChars($string) {
    $regex = "/[\\+\\-\\=\\&\\|\\!\\(\\)\\{\\}\\[\\]\\^\\\"\\~\\*\\<\\>\\?\\:\\\\\\/]/";
    return preg_replace($regex, addslashes('\\$0'), $string);
}
echo escapeElasticReservedChars($string);

或使用preg_match_callback 函数来实现。感谢回调，您将能够拥有当前匹配并对其进行编辑。

将被调用并传递匹配元素数组的回调 在主题字符串中。回调应该返回替换 细绳。这是回调签名：

这里正在行动：

<?php 
$string = "The next chars should be escaped: + - = && || > < ! ( ) { } [ ] ^ \" ~ * ? : \ / Did it work?"; 

function escapeElasticSearchReservedChars($string) {
    $regex = "/[\\+\\-\\=\\&\\|\\!\\(\\)\\{\\}\\[\\]\\^\\\"\\~\\*\\<\\>\\?\\:\\\\\\/]/";
    $string = preg_replace_callback ($regex, 
        function ($matches) { 
            return "\\" . $matches[0]; 
        }, $string); 
    return $string;
}
echo escapeElasticSearchReservedChars($string);

输出：The next chars should be escaped\: \+ \- \= \&\& \|\| \> \< \! \( \) \{ \} \[ \] \^ \" \~ \* \? \: \\ \/ Did it work\?

Answer 2

如果有人正在寻找稍微冗长（但可读！）的解决方案：

public function escapeElasticsearchValue($searchValue)
{
    $searchValue = str_replace('\\', '\\\\', $searchValue);
    $searchValue = str_replace('*', '\\*', $searchValue);
    $searchValue = str_replace('?', '\\?', $searchValue);
    $searchValue = str_replace('+', '\\+', $searchValue);
    $searchValue = str_replace('-', '\\-', $searchValue);
    $searchValue = str_replace('&&', '\\&&', $searchValue);
    $searchValue = str_replace('||', '\\||', $searchValue);
    $searchValue = str_replace('!', '\\!', $searchValue);
    $searchValue = str_replace('(', '\\(', $searchValue);
    $searchValue = str_replace(')', '\\)', $searchValue);
    $searchValue = str_replace('{', '\\{', $searchValue);
    $searchValue = str_replace('}', '\\}', $searchValue);
    $searchValue = str_replace('[', '\\[', $searchValue);
    $searchValue = str_replace(']', '\\]', $searchValue);
    $searchValue = str_replace('^', '\\^', $searchValue);
    $searchValue = str_replace('~', '\\~', $searchValue);
    $searchValue = str_replace(':', '\\:', $searchValue);
    $searchValue = str_replace('"', '\\"', $searchValue);
    $searchValue = str_replace('=', '\\=', $searchValue);
    $searchValue = str_replace('/', '\\/', $searchValue);

    // < and > can’t be escaped at all. The only way to prevent them from
    // attempting to create a range query is to remove them from the query
    // string entirely
    $searchValue = str_replace('<', '', $searchValue);
    $searchValue = str_replace('>', '', $searchValue);

    return $searchValue;
}

Answer 3

完全披露，我从未使用过弹性搜索，我的建议不是来自个人经验，甚至不是用弹性搜索测试过的。我根据我对正则表达式和字符串操作技能的了解产生了这个建议。如果有人发现漏洞，我很乐意收到您的评论。

我的sn-p：

• 首先删除字符串中所有出现的< 和> 然后
• 检查单次出现的保留字符列表中的字符或紧跟相同字符的与号或管道 - 所有这些限定字符都使用反斜杠进行转义。

代码：(Demo)

$string = "To be escaped: + - = && || > < ! ( ) { } [ ] ^ \" ~ * ? : \ / triple ||| and split '&<&'"; 

echo escapeElasticSearchReservedChars($string);

function escapeElasticSearchReservedChars(string $string): string
{
    return preg_replace(
        [
            '_[<>]+_',
            '_[-+=!(){}[\]^"~*?:\\/\\\\]|&(?=&)|\|(?=\|)_',
        ],
        [
            '',
            '\\\\$0',
        ],
        $string
    );
}

输出：

To be escaped\: \+ \- \= \&& \||   \! \( \) \{ \} \[ \] \^ \" \~ \* \? \: \\ \/ triple \|\|| and split '\&&'

首先删除< 和> 的原因是，有人不能尝试破解替换的设计并尝试传入|>|，否则会阻止两个连续管道的适当转义（在> 已被删除）。

Answer 4

此版本应被视为已弃用，因为 https://stackoverflow.com/a/68393421/334451 具有更好的性能并产生正确的输出。

似乎所有给定的答案都没有真正遵循文档，所以这是另一个正确编码任何不受信任的输入的答案：

/**
 * @param string $s untrusted user input
 * @return string safe string to be used in `query_string` argument to elasticsearch
 */
function escapeForElasticSearch($s)
{
    static $keys = array();
    static $values = array();
    if (!$keys)
    {
        # https://www.elastic.co/guide/en/elasticsearch/reference/5.5/query-dsl-query-string-query.html#_reserved_characters
        $replacements = array(
            ">" => "", # cannot be safely encoded
            "<" => "", # cannot be safely encoded
            "\\" => "\\\\", # must be done first to not double encode later backslashes!
            "+" => "\\+",
            "-" => "\\-",
            "=" => "\\=",
            "&" => "\\&",
            "|" => "\\|",
            "!" => "\\!",
            "(" => "\\(",
            ")" => "\\)",
            "{" => "\\{",
            "}" => "\\}",
            "[" => "\\[",
            "]" => "\\]",
            "^" => "\\^",
            "\"" => "\\\"",
            "~" => "\\~",
            "*" => "\\*",
            "?" => "\\?",
            ":" => "\\:",
            "/" => "\\/",
        );
        $keys = array_keys($replacements);
        $values = array_values($replacements);
    }
    return str_replace($keys, $values, $s);
}

请注意，& 或 | 本身并不特殊，但要正确处理这些字符的奇数数量比仅对这些字符的每个实例进行编码更难。

请注意，首先删除所有必须删除的字符很重要。否则攻击者可以使用序列在字符串已经部分编码后删除中间的字符。

Answer 5

简单的方法是使用单个字符类进行匹配。
唯一的问题是使用什么作为分隔符（为了便于阅读）。

使用@作为正则分隔符，它的

查找：'@[-+=&|><!(){}[\]^"~*?:\\\/]@'
替换：'\\$0'

---

但是，如果实际字符已经被转义了怎么办？
然后怎样呢？

一个解决方案是找到那些没有转义的。

查找：'@(?<!\\\)(?:\\\\\\\)*\K(?:[-+=&|><!(){}[\]^"~*?:/]|\\\(?!\\\))@'
替换：'\\$0'

格式化：

 (?<! \\ )                     # Not an escape behind 
 (?: \\ \\ )*                  # Possible even number of escapeds
 \K                            # Don't include the previous escapes in match
 (?:
      [-+=&|><!(){}[\]^"~*?:/]      # Either 1 of these special characters
   |                              # or,
      \\                            # An escape character that is
      (?! \\ )                      # not followed by escape itself.
 )