Qt UTF-8 文件到 std::string 添加额外字符

Question

我有一个 UTF-8 编码的文本文件，其中包含 ²、³、Ç 和 ó 等字符。当我使用以下内容读取文件时，文件似乎被正确读取（至少根据我在查看 contents 变量的内容时在 Visual Studio 的编辑器中看到的内容）

QFile file( filePath );
if ( !file.open( QFile::ReadOnly | QFile::Text ) ) {
    return;
}
QString contents;
QTextStream stream( &file );
contents.append( stream.readAll() );
file.close();

但是，一旦内容转换为std::string，就会添加其他字符。例如，² 被转换为 ²，而它应该只是 ²。这似乎发生在每个非 ANSI 字符上，添加了额外的 Â，这当然意味着当保存新文件时，输出文件中的字符不正确。

当然，我尝试过简单地使用toStdString()，我也尝试过toUtf8，甚至尝试过使用QTextCodec，但都没有给出正确的值。

我不明白为什么从 UTF-8 文件到 QString，然后到 std::string 会丢失 UTF-8 字符。它应该能够重现最初读取的确切文件，还是我完全遗漏了什么？

Answer 1

正如 Daniel Kamil Kozar 在他的回答中提到的那样，QTextStream 没有读取编码，因此实际上并没有正确读取文件。 QTextStream 必须在读取文件之前设置其编解码器，以便正确解析字符。在下面的代码中添加了注释以显示所需的额外文件。

QFile file( filePath );
if ( !file.open( QFile::ReadOnly | QFile::Text ) ) {
    return;
}
QString contents;
QTextStream stream( &file );
stream.setCodec( QTextCodec::codecForName( "UTF-8" ) ); // This is required.
contents.append( stream.readAll() );
file.close();

Answer 2

您所看到的实际上是预期的行为。

当编码为 UTF-8 时，字符串 ² 由字节 C3 82 C2 B2 组成。假设 QTextStream 实际上正确识别 UTF-8（这并不是那么明显，judging from the documentation，它只在存在 BOM 时提到字符编码检测，并且您没有说任何关于具有 BOM 的输入文件)，我们可以假设QTextStream::readAll返回的QString实际上包含字符串²。

QString::toStdString()returns a UTF-8 encoded variant 是给定的QString 所代表的字符串，因此返回值应该包含与输入文件相同的字节——即C3 82 C2 B2。

现在，关于您在调试器中看到的内容：

1. 您在其中一个 cmets 中声明“QString 在字符串中只有 0xC2 0xB2（这是正确的）。”。这只是部分正确：QString 在内部使用 UTF-16LE，这意味着它的内部字符数组包含两个 16 位值：0x00C2 0x00B2。实际上，当它们被编码为 UTF-16 时，它们映射到字符 Â 和 ²，这证明了 QString 是根据文件的输入正确构造的。但是，您的调试器似乎足够聪明，可以知道构成 QString 的字节是用 UTF-16 编码的，因此可以正确呈现字符。
2. 您还声明调试器将从QString::toStdString 返回的std::string 的内容显示为²。假设您的调试器在没有明确说明编码的情况下使用可怕的“ANSI 代码页”将字节解析为字符，并且您使用的英语 Windows 使用 Windows-1252 作为其默认的旧代码页，那么一切都适合：std::string 实际上包含字节C3 82 C2 B2，映射到Windows-1252 中的字符²。

无耻的自我插入：我在去年的一次会议上delivered a talk about character encodings。也许观看它会帮助您更好地理解其中一些问题。

最后一件事：ANSI 不是编码。根据 Windows 的区域设置，它可能意味着许多不同的编码。