如何在 C++ 中正确地将 tolower() 应用于德语大写字母 Ä、Ö、Ü、ẞ

Question

我开了一个question有点迷茫，我想在这里说的更具体一点。

我有许多包含德语字母的文件，大部分采用 iso-8859-15 或 UTF-8 编码。为了处理它们，必须将所有字母转换为小写。

例如，我有一个文件（编码为 iso-8859-15 ），其中包含：

博士。玫瑰在 M. Das sogen。 Baptisterium zu Winland, eins der im Art。 "Baukunst" (S. 496) erwähnten Rundgebäude in Grönland, soll nach Palfreys “新英格兰历史” eine von dem Gouverneur Arnold um 1670 erbaute Windmühle sein。 Vgl。阵风。书房里的风暴“Jahrbüchern der” 哥本哈根 königlichen Gesellschaft für nordische Altertumskunde" 1887 年，S. 296。

Ää​​ Öö Üü ẞß Örebro

文本Ää Öö Üü ẞß Örebro 应变为：ää öö üü ßß örebro。

但是，tolower() 似乎不适用于 Ä、Ö、Ü、ẞ 等大写字母，尽管我尝试强制使用 this SO post 中提到的语言环境

这是我在另一个问题中发布的相同代码：

std::vector<std::string> tokens;
std::string filename = "10223-8.txt";
//std::string filename = "test-UTF8.txt";
std::ifstream inFile;

//std::setlocale(LC_ALL, "en_US.iso88591");
//std::setlocale(LC_ALL, "de_DE.iso88591");
//std::setlocale(LC_ALL, "en_US.iso88591");
//std::locale::global(std::locale(""));

inFile.open(filename);
if (!inFile) { std::cerr << "Failed to open file" << std::endl; exit(1); }

std::string s = "";
std::string line;
while( (inFile.good()) && std::getline(inFile, line) ) {
    s.append(line + "\n");
}
inFile.close();

std::cout << s << std::endl;

//std::setlocale(LC_ALL, "de_DE.iso88591");
for (unsigned int i = 0; i < s.length(); ++i) {
    if (std::ispunct(s[i]) || std::isdigit(s[i]))
            s[i] = ' ';
    if (std::isupper(s[i]))
            s[i] = std::tolower(s[i]);
            //s[i] = std::tolower(s[i]);
            //s[i] = std::tolower(s[i], std::locale("de_DE.utf8"))
}

std::cout << s << std::endl;

//tokenize string
std::istringstream iss(s);
tokens.clear();
tokens = {std::istream_iterator<std::string>{iss}, std::istream_iterator<std::string>{}};

//PROCESS TOKENS...

这真的很令人沮丧，关于<locale>的使用范式并不多。

所以，除了我的代码的主要问题之外，还有一些问题：

1. 我是否也必须在其他函数中应用某种自定义语言环境（isupper()、ispunct()...）？
2. 我是否需要在我的 linux env 中启用或安装 de_DE 语言环境才能正确处理字符串的字符？
3. 以同样的方式处理std::string这样的文本是否安全 从具有不同编码（iso-8859-15 或 UTF-8）的文件中提取？

编辑：康拉德鲁道夫的回答仅适用于 UTF-8 文件。它不适用于 iso-8859-15，这会转化为此处发布的初始问题： How to apply functions on text files with different encoding in c++

Answer 1

使用std::ctype::tolower，而不是std::tolower：

#include <iostream>
#include <locale>

int main() {
    std::locale::global(std::locale("de_DE.UTF-8"));
    std::wcout.imbue(std::locale());
    auto& f = std::use_facet<std::ctype<wchar_t>>(std::locale());
    std::wstring str = L"Ää Öö Üü ẞß Örebro";
    f.tolower(&str[0], &str[0] + str.size());
    std::wcout << "'" << str << "'\n";
}

除了设置全局语言环境，您还可以创建一个语言环境（呵呵）：

std::locale loc("de_DE.UTF-8");
std::wcout.imbue(loc);
auto& f = std::use_facet<std::ctype<wchar_t>>(loc);

这编译并“工作”。在我的系统上，它可以正确转换变音符号，但无法处理大写字母-ß（说实话，这并不奇怪）。

此外，请注意此函数的局限性：它只能执行 1 对 1 的字符转换。在以前版本的 Unicode 标准中，“ß”的正确大写转换是“SS”。 std::ctype::toupper 明确地从不支持这一点。