智能引号未正确转换为 UTF8

Question

我有一个 PHP 脚本可以导入和解析 XML 文件并将数据保存到数据库中：

• 数据库排序规则：utf8_general_ci，字符集：utf8
• 页面的字符集：utf-8
• XML 文件：ANSI，包含智能引号（来自 MS Word）

因此，在导入期间，我在将 XML 文件中的文本保存到数据库并随后显示在页面上之前，对文本执行 utf8_encode()。

但是当成功导入并保存到数据库中时，

• 数据库：智能引号保存为?字符（从CMD查看）
• 页面：智能引号显示为框

关于为什么智能引号没有正确转换的任何想法，即使使用utf8_encode()？

编辑：

@Tomalak：XML​​ 文件实际上是.txt，没有 XML 声明 (<?xml ... ?>)，也没有根元素。我的脚本实际上添加了一个根元素，以便解析器工作：

utf8_encode('<article>' . file_get_contents($xmlfile) . '</article>');

好像我需要添加一个 XML 声明..？如果有，应该是什么样子？

Answer 1

是的，问题在于智能引号有两种类型。

windows-1252 和 latin-1

utf8_encode 假定它是 latin-1，所以它得到了错误的智能引号。

如果我们知道输入数据是windows-1252，我们可以使用iconv进行转换。

$string=iconv ( "Windows-1252" , "UTF-8" , $oldstring );

这才是真正的答案。

Answer 2

如果您的 XML 字符串（即文件内容）不是编码为 UTF-8，您需要一个表示文件编码的 XML 声明。如果缺少 XML 声明，解析器将采用 UTF-8。

只要您不使用“特殊”字符（即 ASCII 范围之外的任何字符），即使您的文件不是真正 UTF-8 编码，它也可以在没有声明的情况下工作。这是因为 UTF-8 与 ASCII 字节兼容。但是一旦使用了其中一个代码页上的字符（例如“智能引号”），它就会中断，因为这些字符在 UTF-8 中由不同的字节表示。

在您的情况下，您可以使用根元素包装旧编码中的文本文件，以将它们转换为格式良好的 XML。因此，您需要自己添加 XML 声明：

'<?xml encoding="Windows-1252"?><article>'.file_get_contents($xmlfile).'</article>'

这样您就可以指示DOMDocument 如何解释字符串中的字节。我为您假设Windows-1252，因为您说ANSI并提到了花引号。

事实上，95% 的时间这是人们真正的意思，即使在 Linux 上，即使他们说 ISO-8859-1（或 latin-1），这几乎是，但不是完全正确同样的事情。

为了更加确定您可以在十六进制编辑器中打开您的文本文件，请找出一些特殊字符并将它们的字节值与可疑编码进行比较。对于Windows-1252。对于花引号，预期的字节值将是：

• “147 (0x93)
• ”148 (0x94)

一旦声明了字符串中各个字节的含义，DOMDocument 就可以理解它们并做正确的事情。

当涉及到数据库时，我强烈怀疑正在进行一些自动编码转换。我承认我对 PHP/mySQL/Unicode 集成的了解不够肯定。

Answer 3

它们被正确转换，因为 utf8_encode 完全按照它应该做的事情，并将它们从输入流中删除。

utf8_encode 将 ISO-8859-1 中的文本转换为 UTF-8 编码。 ISO-8859-1 不包含 smartquote 字符。您的网页可能在浏览器中被视为 MSWIN1252 编码，其中包含智能引号字符，并且您通过在其上调用 utf8_encode 来强制 PHP 输入 ISO-8859-1。这意味着将进入您的数据库的唯一字符是这些字符：http://en.wikipedia.org/wiki/ISO/IEC_8859-1#Codepage_layout

要解决这个问题，您必须确保网页本身采用 UTF-8 编码，并从您的代码中删除所有 utf8_encode/utf8_decode 语句。本页解释了如何正确使用 UTF-8：http://malevolent.com/weblog/archive/2007/03/12/unicode-utf8-php-mysql/