【问题标题】:Convert unicode codepoint to utf-16将 unicode 代码点转换为 utf-16
【发布时间】:2021-06-15 03:49:51
【问题描述】:

在 Windows 上的 C++ 中,如何将 &#xhhhh; 形式的 xml 字符引用转换为 utf-16 little endian 字符串?

我在想如果 hhhh 部分是 4 个字符或更少,那么它是 2 个字节,适合一个 utf-16 字符。但是,这个wiki page has a table of character references 和底部附近的一些是 5 位十六进制数字,不适合两个字节。它们如何转换为 utf-16?

我想知道MultiByteToWideChar 函数是否能够完成这项工作。

我对大于 2 个字节的代码点如何转换为 utf-16 的理解不足! (或者就此而言,我不太确定如何将大于 1 字节的代码点转换为 utf-8,但这是另一个问题)。

谢谢。

【问题讨论】:

  • MultiByteToWideChar 完全不适合这项任务。
  • 将代码点转换为 UTF-16 的算法在 Wikipedia 上有描述,请参阅 UTF-16
  • @RemyLebeau 但这个问题中更大的问题是首先将每个字符串 &#xhhhh; 转换为代码点。完成此操作后,您的建议可能会有所帮助。
  • @MarkRansom 将 XML 字符引用解析为数字代码点值很简单。特别是如果您使用实际的 XML 解析器并让它为您完成工作

标签: c++ windows unicode unicode-escapes


【解决方案1】:

Unicode 代码点 (UTF-32) 为 4 个字节宽,可以使用以下代码(我碰巧在附近)转换为 UTF-16character(和可能的代理)。

它没有经过大量测试,因此非常感谢您接受错误报告:

/**
 * Converts U-32 code point to UTF-16 (and optional surrogate)
 * @param utf32 - UTF-32 code point
 * @param utf16 - returned UTF-16 character
 * @return - The number code units in the UTF-16 char (1 or 2).
 */
unsigned utf32_to_utf16(char32_t utf32, std::array<char16_t, 2>& utf16)
{
    if(utf32 < 0xD800 || (utf32 > 0xDFFF && utf32 < 0x10000))
    {
        utf16[0] = char16_t(utf32);
        utf16[1] = 0;
        return 1;
    }

    utf32 -= 0x010000;

    utf16[0] = char16_t(((0b1111'1111'1100'0000'0000 & utf32) >> 10) + 0xD800);
    utf16[1] = char16_t(((0b0000'0000'0011'1111'1111 & utf32) >> 00) + 0xDC00);

    return 2;
}

【讨论】:

  • 您可以考虑特别处理 0xd800 到 0xdfff 范围,因为这些可能是格式错误的输入。
  • @MarkRansom 是的,我想知道是否缺少错误检查(这是我很久以前写的)。但是再看一下维基百科的文章,它说,尽管范围在技术上是糟糕的代码点,但很多软件还是允许它们......所以我将不得不考虑一下。
  • 如果代码点配对以生成有效的 UTF-16 字符,则它也可能不是格式错误的输入。例如,JSON 以这种方式编码,参见例如Why does JSON encode UTF-16 surrogate pairs instead of Unicode code points directly?
猜你喜欢
  • 1970-01-01
  • 2017-06-20
  • 2012-06-20
  • 2013-03-23
  • 1970-01-01
  • 1970-01-01
  • 2010-12-24
  • 1970-01-01
相关资源
最近更新 更多