C++ 中的宽字符问题

Question

我有一个程序，旨在读取一个包含单词的文本文件（每个单词位于单独的一行），然后从该文件中打印出一个随机单词。它还使您能够选择非英语语言（例如希腊语或俄语）。由于后一种情况，我使用std::wstring 来捕获文本。代码如下：

#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <cstdlib>
#include <boost/random/mersenne_twister.hpp>
#include <boost/random/random_device.hpp>
#include <boost/random/uniform_int_distribution.hpp>


int main(int argc, char* argv[]) {
    if (argc != 2) {
        std::cout << "Usage: word [lang]" << std::endl;
        std::cout << "\tlang: Choose from de,en,es,fr,gr,it,la,ru" << std::endl;
        return EXIT_FAILURE;
    }

    std::string file = static_cast<std::string>("C:\\util_bin\\data\\words_") + static_cast<std::string>(argv[1]) + static_cast<std::string>(".txt");
    std::wfstream fin(file, std::wifstream::in);

    std::vector<std::wstring> data;
    std::wstring line;
    while (std::getline(fin, line))
        data.push_back(line);
    int size = data.size();

    boost::random::random_device rd;
    boost::random::mt19937 mt(rd());
    boost::random::uniform_int_distribution<int> dist(0, size - 1);

    std::wcout << data[dist(mt)] << std::endl;
}

这段代码编译得很好，但是当我用俄语（例如）运行它时，我只会得到垃圾文本：

C:\util_bin>word ru
������������

C:\util_bin>

我对 C++ 中宽字符的来龙去脉不是很熟悉，所以我无法真正辨别出哪里出了问题。有人有什么想法吗？

Answer 1

我猜你正在使用 Visual Studio。这是在 Windows 中实现 std::basic_filebuf 的一个怪癖。来自the relevant MSDN page：

basic_filebuf 类型的对象是使用char * 类型的内部缓冲区创建的，而不管类型参数Elem 指定的char_type 是什么。这意味着 Unicode 字符串（包含 wchar_t 字符）将在写入内部缓冲区之前转换为 ANSI 字符串（包含 char 字符）。要将 Unicode 字符串存储在缓冲区中，请创建一个 wchar_t 类型的新缓冲区并使用 basic_streambuf::pubsetbuf() 方法设置它。

正如向我解释的那样，filebuf 是用FILE* 实现的；无论您是否愿意，都有一个执行 ANSI 转换的内部标志，您无法清除。除了分配和设置您自己的缓冲区（通过pubsetbuf）之外的标志。在您的语言环境中放置 codecvt 不会这样做。它必须在成功打开文件后立即发生。真的，令人气愤的闯入。我最终不得不编写一个包装类（这还不错，因为它使您能够在打开之前存储文件名）。

您也可以使用std::binary 打开文件。有些人建议您始终这样做。但是以这种方式打开文件可能会让您在插入流或从中提取之前进行自己的代码转换。

Answer 2

创建实例化 wfstream 对象后，像这样调用 imbue：

fin.imbue( std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>) );