如何使用“%s”说明符打印 unicode 字符串？

Question

我正在尝试调用 printf() 以使用 %s 输出 Unicode 字符/字符串，但它不打印任何内容。

如果我这样称呼printf()：

 printf("\xE2\x98\xA0")

我收到了☠。

但是，如果我像这样使用%ls：

printf("%ls", "☠")  /* or */
printf("%ls", L"☠") /* or */
printf("%ls", L"\xE2\x98\xA0")

我什么也没打印出来；

另外，我如何声明一个包含 Unicode 字符的 wchar_t 字符串？ wchar_t wstro[50] = L"☠" 不起作用。

我需要malloc() 一个wchar_t 然后把Unicode 数据放进去吗？

Answer 1

您将 Unicode、UTF-8 和 wchar_t 混淆了。

Unicode 是一种抽象的东西，具有代码点、组合字符和其他属性。

UTF-8 是编码 Unicode 的常用方法，它与 ASCII 兼容（在仅 ASCII 字符串的情况下），并且与 C 字符串兼容（因此以零结尾（字符串中没有其他 0 字节）。 \xE2\x98\xA0 是 UTF-8 表示。

字符☠ 可能也以UTF-8 编码。这取决于您的编辑器，但通常编辑器不使用 wchar_t。

所以：对于 UTF-8，您应该只使用 %s 而不是 %ls。所以你的 3 次尝试都是错误的。

我一般来说，使用 UTF-8 等 char* 和普通字符串函数（只是不要在随机字节处中断字符串，但这也意味着在随机 UTF-8 代码点之后不中断字符串，如果它后面跟着一些组合代码点。

您可以使用 wchar_t，但通常与使用 wchar_t 的协议一起使用，但特别是在这种情况下，您应该格外小心，因为 wchar_t 的大小与所需的字符大小（预期编码）不兼容 [例如您的系统，因此 wchar_t 可能只有 2 个字节，但是您可以使用 UCS2，但不能使用 UTF-32，或者如果系统将 wchar_t 定义为 4 个字节，则相反）。

所以保持简单，尝试只使用 UTF-8，并将其用作普通 C 字符串。

Answer 2

此答案假设您在 MS Windows 中工作

---

2018 年了，但这些东西仍然不能正常工作，真是令人难过。但情况是这样的：

printf("\xE2\x98\xA0");（与printf("%s", "\xE2\x98\xA0"); 相同）有效，因为您只是将 3 个字符输出到输出流。 C 语言中不存在 Unicode 或特殊字符处理。您的终端环境会在输出中查找 UTF-8 字符串并相应地选择显示字形。

同样，如果您将输出写入文件（使用 fprintf 或流重定向），您会看到该文件包含 0xE2, 0x98, 0xA0，然后您可以选择使用将 UTF-8 转换为显示的文本文件查看器字形。

这部分一切都很好，您可以（并且可能应该）编写程序，只将 UTF-8 编码字符写入FILE 流。

---

当我们想要输出wchar_t 字符时，问题就开始了。理论上这应该可行：

printf("%ls", L"\u2620");   

应该发生的是调用wcstombs 将unicode 代码点序列转换为多字节序列。但是使用哪种多字节格式？ UTF-8 现在已经无处不在，但过去也有其他格式，如 ShiftJIS、Big-5 等。

您必须使用setlocale 指定多字节格式。语言环境的细节是实现定义的。

这是踢球者。 Windows 不支持用于一般 UTF-8 输出的 C 语言环境。如果你尝试setlocale(LC_CTYPE, ".65001");，它就是行不通的。

您可以使用支持的语言环境输出某些 Unicode 子集。例如 the MSDN example 使用 Japanese_Japan.932 可以工作，将 Unicode 输入输出为 Shift-JIS。 （不是 UTF-8）。

更糟糕的是，如果您使用 Windows API 函数 WideStringToMultiByte，它确实接受 CP_UTF8 的“区域设置”。您可以使用此函数将L"\u2620"; 转换为char 缓冲区和printf，生成UTF-8 输出。

但是你当然不能将它“插入”到FILE 流处理中，它只调用wcstombs 而不是WideStringToMultiByte。

他们为什么不允许".UTF-8" 作为wcstombs 的语言环境？恶意行为？谁知道呢。

---

理论上应该起作用的下一件事是：

FILE *fp = fopen("a.txt", "w");
fwide(fp, 1);
fwprintf(fp, L"\u2620");

然而实际上，MS 运行时实际上并没有对fwide 做任何事情；它不支持面向广泛的流。 wprintf 系列的 Microsoft 实现实际上只是输出窄字符，而不是宽字符，并且它们使用与窄 printf 系列相同的 wcstombs 方法。

因此，该代码不起作用，来自日语 wcstombs 示例的代码 fwprintf(fp, L"\u3603");（带有 .932 CP 集）输出多字节序列而不是原始宽字符。

要通过stdio.h API 编写 UTF-16 文件，您实际上别无选择，只能使用窄字符并将其视为二进制文件。

Answer 3

适用于 Windows 的代码

（我用过）

环境：W7/64 w/ConEmu 控制台，W10 终端或 ConEmu，CP 始终设置为 65001。

编译器：gcc 版本 11.2.0（MinGW-W64 x86_64-posix-seh，由 Brecht Sanders 构建）

在 W7 默认 Windows 控制台中不起作用，即使是 CP65001。

#include <stdio.h>
#include <stdlib.h>                     /* malloc */
#include <string.h>                     /* strlen... */
#include <locale.h>
#include <wchar.h>
//
main( int argc , char *argv[])
{
  // .... code here
  printf("%s", "\u25BA");  /* right triangle */
  // ....
}

结果：

C:\Users\gm\C>gets John MARTHA william
►martha
C:\Users\gm\C>

正如其他人之前所说，语言环境似乎无法在我尝试过的任何控制台上提供任何帮助。

在我尝试过的任何控制台上，其他语法（L"\u25BA"、printf("%ls",...)、...）在 W7 或 W10 下使用这个 gcc 编译器都没有给我带来预期的结果。