如何在 Visual C++ 中的 BSTR 和 32 位 Unicode 字符串之间进行转换？

Question

我有 punycodes 字符串（转义和非转义）的第 3 方代码。作为 Unicode 输入/输出，它使用 32 位 Unicode 字符串（基于 uint32_t），而不是 16 位。我自己的输入/输出是 BSTR（UTF 16 位）。我应该如何在 32 位 Unicode 字符数组和 BSTR（双向）之间进行转换？

代码应在 Visual C++ 6.0 及更高版本中运行。

Answer 1

对于小于0xFFFF 的字符，UTF16 与 UTF32 相同。您可以使用以下转换在 Windows 中显示 UTF-32 代码。

注意，这是基于维基百科UTF16 文章。我没有添加任何错误检查，它需要有效的代码。

void get_utf16(std::wstring &str, int ch32)
{
    const int mask = (1 << 10) - 1;
    if(ch32 < 0xFFFF)
    {
        str.push_back((wchar_t)ch32);
    }
    else
    {
        ch32 -= 0x10000;
        int hi = (ch32 >> 10) & mask;
        int lo = ch32 & mask;

        hi += 0xD800;
        lo += 0xDC00;

        str.push_back((wchar_t)hi);
        str.push_back((wchar_t)lo);
    }
}

例如，以下代码应在 Windows 10 中显示笑脸：

std::wstring str;
get_utf16(str, 0x1f600);
::MessageBoxW(0, str.c_str(), 0, 0);

---

编辑：

从 UTF-32 码位数组中获取 UTF-16，以及反向操作：

UTF-16 字符串可以是一个 wchar_t 字符长（每个代码点 2 个字节），或 2 个 wchar_t 字符连接在一起（每个代码点 4 个字节）。如果第一个字符介于 0xD800 和 0xE000 之间，则表示每个代码点 4 个字节。

bool get_str_utf16(std::wstring &dst, const std::vector<unsigned int> &src)
{
    const int mask = (1 << 10) - 1;
    for(size_t i = 0; i < src.size(); i++)
    {
        unsigned int ch32 = src[i];
        ////check for invalid range
        //if(ch32 > 0x10FFFF || (ch32 >= 0xD800 && ch32 < 0xE000))
        //{
        //  cout << "invalid code point\n";
        //  return false;
        //}

        if(ch32 > 0x10000)
        {
            ch32 -= 0x10000;
            int hi = (ch32 >> 10) & mask;
            int lo = ch32 & mask;
            hi += 0xD800;
            lo += 0xDC00;
            dst.push_back((wchar_t)hi);
            dst.push_back((wchar_t)lo);
        }
        else
        {
            dst.push_back((wchar_t)ch32);
        }
    }
    return true;
}

void get_str_utf32(std::vector<unsigned int> &dst, const std::wstring &src)
{
    for(unsigned i = 0; i < src.size(); i++)
    {
        const wchar_t ch = src[i];
        if(ch >= 0xD800 && ch < 0xE000)
        {
            //this character is joined with the next character
            if(i < src.size() - 1)
            {
                unsigned int hi = src[i]; i++;
                unsigned int lo = src[i];
                hi -= 0xD800;
                lo -= 0xDC00;
                unsigned int u32 = 0x10000 + (hi << 10) + lo;
                dst.push_back(u32);
            }
        }
        else
        {
            dst.push_back(ch);
        }
    }
}

例子：

std::wstring u16 = L"123?456";

std::vector<unsigned int> u32;
get_str_utf32(u32, u16);
cout << "\n";

cout << "UTF-32 result: ";
for(auto e : u32)
    printf("0x%X ", e);
cout << "\n";

std::wstring test;
get_str_utf16(test, u32);
MessageBox(0, test.c_str(), (u16 == test) ? L"OK" : L"ERROR", 0);