QString - UTF8 嵌入 16 位？

Question

我很惊讶。我开始深入研究QString::data()，同时试图帮助这里的另一个提问者解决 QString 与 ASCII 相关的问题。

我制作了以下代码，它查看每 16 位 QString 数据包，发现像“ä”和“ß”这样的字母似乎以 UTF-8 编码，但使用 16 位来存储 8 位.当然，他们可以随心所欲，但文档说 QString 将采用 UTF-16。但对我来说它看起来不同。

更正： Qt 4.8 的 QString 文档并没有真正提到 UTF-16。 但它也没有说明 UTF-8 与 16 位一起使用。

拜托，谁能赐教！？

我的代码：

QString h("AßB");

char * pt = (char*)h.data();

for(int i = 0; ;i+=2) {

   // get 16bit value
   u_int16_t s = *(u_int16_t*)(pt + i);

   // break condition
   if(s == 0) break;

   qDebug() << i << s << QChar(s) << h.size();
}

qDebug() 告诉我什么：

0 65 'A' 4 
2 195 'Ã' 4 
4 159 '' 4 
6 66 'B' 4 

请注意，“ß”似乎是 UTF-8 编码的，但在编码的两个部分仍然使用 16 位。

195 159 是 'ß' 的 UTF-8 编码。

我的字符映射告诉我 'ß' 的 UTF-16 表示应该是 0x00DF。这就是我希望得到的。

另请注意，QString::size() 报告的可疑大小为 4 而不是 3。

Answer 1

QString 数据在内部存储为 Unicode。来自 qt 文档：

QString str = "Hello";

“QString 使用 fromUtf8() 函数将 const char * 数据转换为 Unicode。”

这是链接：QString Class

奇怪的是，我没有看到任何 toUTF16() 方法；虽然它确实有一个 toUTF8。

另外，UTF-16 不是 Unicode：

“Unicode 标准对 U+0000..U+10FFFF 范围内的字符进行编码，相当于 21 位代码空间。取决于您选择的编码形式（UTF-8、UTF-16 或 UTF- 32)，然后每个字符将被表示为一到四个 8 位字节、一个或两个 16 位代码单元或单个 32 位代码单元的序列。"

发件人：Frequently Asked Questions - UTF-8, UTF-16, UTF-32 & BOM

编辑：

我知道 MSVC 曾经用于编译 Unicode 和非 Unicode 版本。来自 M$：

"Unicode UTF-16 编码

将 Unicode 字符表示为 16 位整数序列。您的应用程序可以使用 UnicodeEncoding 类将字符与 UTF-16 编码相互转换。

UTF-16 通常在本地使用，如 Microsoft.Net char 类型、Windows WCHAR 类型和其他常见类型。最常见的 Unicode 代码点仅使用一个 UTF-16 代码点（2 个字节）。 Unicode 补充字符 U+10000 和更大的字符仍然需要两个 UTF-16 代理代码点。”

发现于.NET Framework 3.5 - Using Unicode Encoding。

因此，M$ 在内部经常使用 UTF-16。 Unicode 是 21 位长的符号列表，有多种 UTF 格式对其进行编码。

这对您在 Ubuntu 上有何影响？ M$ 在内部用 UTF-16 对事物进行编码，并称它们为 Unicode。

Frank Osterfeld 显然在您的代码中发现了问题：编译器正在使用源文件的编码来生成字符串文字。奇怪的是它使用了 16 位编码，并得出了 UTF-8 值；从而得出错误的字符序列！如果您打印出 QString，我想知道它是否会显示为带有变音符号的“A”。尽管编译器显然不理解它，但它可能在您看到它之前就被转换回相同的 UTF-8。 Frank 和你已经能够证明在 Ubuntu 上，Qt 使用 UTF-16。似乎在未编码（即 21 位）的计算机数据中几​​乎看不到 Unicode 字符。 “Unicode”构建显然是 UTF-16 构建。