上传文件中的重音被替换为“？”

Question

我正在为我正在开发的网站的管理部分构建数据导入工具。数据是法语和英语的，并且包含许多重音字符。每当我尝试上传文件、解析数据并将其存储在我的 MySQL 数据库中时，重音符号都会被替换为“？”。

我有包含数据的文本文件（字符集是 iso-8859-1），我使用 CodeIgniter 的文件上传库上传到我的服务器。然后我用 PHP 读取文件。

我的代码是这样的：

$this->upload->do_upload()
$data = array('upload_data' => $this->upload->data());

$fileHandle = fopen($data['upload_data']['full_path'], "r");

while (($line = fgets($fileHandle)) !== false) {
    echo $line;
}

这会产生用“？”替换重音的行。其他一切都是正确的。

如果我通过 FTP 从服务器下载上传的文件，字符集仍然是 iso-8850-1，但差异显示文件已更改。但是，如果我在 TextEdit 中打开文件，它会正确显示。

我尝试使用 PHP 的 stream_encoding 方法将我的文件流显式设置为 iso-8859-1，但我的 PHP 版本没有该方法。

在想法用尽后，我尝试将字符串包装在 utf8_encode 和 utf8_decode 中。都没有用。

如果有人对我可以尝试的事情有任何建议，我将非常感激。

Answer 1

重要的是查看损坏是在向 mySQL 发出查询之前还是之后发生的。这里发生了太多可能的事情，无法查明它。你能输出你的 MySql 来检查这个吗？

假设您的查询格式正确（在输出查询的阶段没有损坏），您应该检查几件事。

1. 数据库本身的字符编码是什么？ （整理）

2. 连接的字符集是什么 - 这可能在您的 mysql 配置中设置不正确，可以使用“SET NAMES”命令手动设置

在我自己的应用程序中，我在建立连接后发出“SET NAMES utf8”作为我的第一个查询，因为我无法更改 MySQL 配置。

看到这个。 http://dev.mysql.com/doc/refman/5.0/en/charset-connection.html

编辑：如果问题与 mysql 无关，我会检查以下内容

1. 你说文件的编码是'charset is iso-8859-1' - 请问你是怎么确定的？

2. 如果将文件本身保存为 utf8（无 BOM）并尝试重新处理它会发生什么？

3. 执行转换的 php 文件的编码是什么？ （你用什么来写你的 php - 它可能以一种不受欢迎的方式为你“管理”它）

4. （旁白）您正在处理的文件是否适合使用 fgetcsv 进行处理？ http://php.net/manual/en/function.fgetcsv.php

Answer 2

上传到您的服务器的文件应该在下载时返回相同的结果。这意味着，不应更改文件的编码（只是一堆二进制数据）。相反，您应该注意您能够不更改地存储该文件的二进制信息。

要在您的数据库中实现这一点，请创建一个 BLOB 字段。这是正确的列类型。这只是二进制数据。

假设您使用的是 MySQL，这是参考：The BLOB and TEXT Types，请注意 BLOB。

Answer 3

问题是您使用的是 iso-8859-1 而不是 utf-8。为了将其编码为正确的字符集，您应该使用 iconv 函数，如下所示：

$output_string = iconv('utf-8", "utf-8//TRANSLIT", $input_string);

iso-8859-1 没有任何类型的重音编码。

如果一切都是 utf-8 就更好了，因为它几乎可以处理人类已知的所有字符。