如何最好地删除 XHTML 认为使用 php 无效的 unicode 字符？

Question

我经营一个旨在支持国际数学小组的论坛。我最近将其切换为 unicode 以更好地支持国际字符。在调试此转换时，我发现并非所有 unicode 字符都被视为有效的 XHTML（相关网站似乎是 http://www.w3.org/TR/unicode-xml/）。论坛软件在将帖子呈现给浏览器之前要经过的步骤之一是 XHTML 验证/清理步骤。在那个阶段，它应该删除任何 XHTML 不喜欢的 unicode 字符，这似乎是一个合理的想法。

所以我的问题是：

在 PHP 中是否有标准（或最佳）方法？

（顺便说一下，论坛是用 PHP 编写的。）

我猜故障保护将是一个简单的str_replace（如果这也是最好的，我是否需要做任何额外的事情以确保它与 unicode 一起正常工作？）但这将涉及我必须通过 XHTML DTD（或上面引用的 W3 页面）仔细找出要在 str_replace 的 search 部分列出哪些字符，所以如果这是最好的方法，有人已经这样做了，所以我会偷，会犯错，会抄袭吗？

（顺便说一句，导致问题的字符是 U+000C，即“formfeed”，它（根据 W3 页面）是有效的 HTML 但无效的 XHTML！）

Answer 1

我找到了一个可以做你想做的事情的函数 phpedit.net.

我将发布存档函数，感谢 PHPEdit.net 上的 ltp：

/**
 * Removes invalid XML
 *
 * @access public
 * @param string $value
 * @return string
 */
function stripInvalidXml($value)
{
    $ret = "";
    $current;
    if (empty($value)) 
    {
        return $ret;
    }

    $length = strlen($value);
    for ($i=0; $i < $length; $i++)
    {
        $current = ord($value{$i});
        if (($current == 0x9) ||
            ($current == 0xA) ||
            ($current == 0xD) ||
            (($current >= 0x20) && ($current <= 0xD7FF)) ||
            (($current >= 0xE000) && ($current <= 0xFFFD)) ||
            (($current >= 0x10000) && ($current <= 0x10FFFF)))
        {
            $ret .= chr($current);
        }
        else
        {
            $ret .= " ";
        }
    }
    return $ret;
}

Answer 2

假设您的输入是 utf8，您可以使用类似的东西删除 unicode 范围

 preg_replace('~[\x{17A3}-\x{17D3}]~u', '', $input);

另一种更好的方法是默认删除所有内容，并且只删除您想查看的白名单字符。 Unicode 属性 (\p) 对此非常实用。例如，删除除 (unicode) 字母和数字之外的所有内容：

  preg_replace('~[^\p{L}\p{N}]~u', '', $input)