为什么 U+1xxxx 字符的 UTF-8 编码为 2 个字节？

Question

我试图弄清楚 C 如何处理 Unicode 中的字符代码。我将我的语言环境设置为 LC_ALL "fr_CA.UTF8" 然后输入一个带有wscanf() 的字符（作为wchar_t 的数组...）。然后我探索每个 byte 并发现一些奇怪的东西。我输入了 U+1d11e 的高音键（“????”从网页复制）。这实际上是 3 个字节，所以我预计会有 2 个wchar_t。我得到：0x1e、0xd1、0x00、0x00，最后两个是空结尾字符。这是我的代码：

#include <stdio.h>
#include <locale.h>
#include <wchar.h>

int main ( int argc, char* argv[] )
{  
    setlocale( LC_ALL, "fr_CA.utf8" ); 

    wchar_t input[256];

    wscanf( L"%ls", input);
    wprintf( L"%ls\n", input );

    wprintf( L"Length = %d\n", wcslen( input ) );
    wprintf( L"%d\n", (int)(input[0]&0x00ff) );
    wprintf( L"%d\n", (int)((input[0]&0xff00)>>8) );
    wprintf( L"%d\n", (int)(input[1]&0x00ff) );
    wprintf( L"%d\n", (int)((input[1]&0xff00)>>8) );
    wprintf( L"%d\n", (int)(input[2]&0x00ff) );
    wprintf( L"%d\n", (int)((input[2]&0xff00)>>8) );

    return 0;
}  

我的期望是有 0x1e、0xd1、0x01、0x00、0x00、0x00...

但我有 0x1e、0xd1、0x00、0x00...

让我着迷的是wprintf( L"%ls\n", input ); 实际上正确地打印了高音键......那么什么可以区分字符 U+1D11E 和 U+D11E？

另外，我在 Kubuntu 16.04 LTS 的 Konsole 中运行我的程序，并使用 gcc 6.5.0 编译它...如果重要的话。

Answer 1

如果您正确打印了构成 wchar_t 值的字节，或者您只是跳过该字节并打印了它们的值而不试图将它们分解为字节，您会看到您所期望的：

wprintf(L"%x\n", (int)input[0]);
wprintf(L"%x\n", (int)input[1]);

输出将是：

1d11e
0

您尝试执行此操作的方式表明您误以为wchar_t 值是16 位的，并且存在“多wchar_t 字符”之类的东西。 C 语言非常明确地表明没有这样的东西。使用 16 位 wchar_t 的实现是错误（或者至少不能支持 BMP 之外的 Unicode）。当然，一个相当流行的就大错特错了……

我刚刚注意到您在问题的标题中还提到了 UTF-8，但内容与 UTF-8 表示无关。 wchar_t 是（通常；不完全需要）Unicode 代码点编号，相当于 UCS-4（或仅支持 BMP 的实现上的 UCS-2）。虽然几乎可以肯定语言环境的多字节编码必须是 UTF-8 才能让您访问该字符（尽管 GB18030 也可以使用），但如果您正在处理所有数据流，则 UTF-8 不会出现字符流。