如何删除 C++ std::string 中的重音符号和波浪号

Question

我对 C++ 中的一个字符串有疑问，该字符串在西班牙语中有几个单词。这意味着我有很多带有重音符号和波浪线的单词。我想将它们替换为没有重音的对应物。示例：我想替换这个词：“había”代表 habia。我尝试直接替换它，但使用字符串类的替换方法，但我无法让它工作。

我正在使用此代码：

for (it= dictionary.begin(); it != dictionary.end(); it++)
{
    strMine=(it->first);
    found=toReplace.find_first_of(strMine);
    while (found!=std::string::npos)
    {
        strAux=(it->second);
        toReplace.erase(found,strMine.length());
        toReplace.insert(found,strAux);
        found=toReplace.find_first_of(strMine,found+1);
    }
}

dictionary 是这样的地图（有更多条目）：

dictionary.insert ( std::pair<std::string,std::string>("á","a") );
dictionary.insert ( std::pair<std::string,std::string>("é","e") );
dictionary.insert ( std::pair<std::string,std::string>("í","i") );
dictionary.insert ( std::pair<std::string,std::string>("ó","o") );
dictionary.insert ( std::pair<std::string,std::string>("ú","u") );
dictionary.insert ( std::pair<std::string,std::string>("ñ","n") );

而toReplace 字符串是：

std::string toReplace="á-é-í-ó-ú-ñ-á-é-í-ó-ú-ñ";

我显然一定错过了什么。我想不通。 有没有我可以使用的库？

谢谢，

Answer 1

    /// <summary>
    /// 
    /// Replace any accent and foreign character by their ASCII equivalent.
    /// In other words, convert a string to an ASCII-complient string.
    /// 
    /// This also get rid of special hidden character, like EOF, NUL, TAB and other '\0', except \n\r
    /// 
    /// Tests with accents and foreign characters:
    /// Before: "äæǽaeöœoeüueÄAeÜUeÖOeÀÁÂÃÄÅǺĀĂĄǍΑΆẢẠẦẪẨẬẰẮẴẲẶАAàáâãåǻāăąǎªαάảạầấẫẩậằắẵẳặаaБBбbÇĆĈĊČCçćĉċčcДDдdÐĎĐΔDjðďđδdjÈÉÊËĒĔĖĘĚΕΈẼẺẸỀẾỄỂỆЕЭEèéêëēĕėęěέεẽẻẹềếễểệеэeФFфfĜĞĠĢΓГҐGĝğġģγгґgĤĦHĥħhÌÍÎÏĨĪĬǏĮİΗΉΊΙΪỈỊИЫIìíîïĩīĭǐįıηήίιϊỉịиыїiĴJĵjĶΚКKķκкkĹĻĽĿŁΛЛLĺļľŀłλлlМMмmÑŃŅŇΝНNñńņňʼnνнnÒÓÔÕŌŎǑŐƠØǾΟΌΩΏỎỌỒỐỖỔỘỜỚỠỞỢОOòóôõōŏǒőơøǿºοόωώỏọồốỗổộờớỡởợоoПPпpŔŖŘΡРRŕŗřρрrŚŜŞȘŠΣСSśŝşșšſσςсsȚŢŤŦτТTțţťŧтtÙÚÛŨŪŬŮŰŲƯǓǕǗǙǛŨỦỤỪỨỮỬỰУUùúûũūŭůűųưǔǖǘǚǜυύϋủụừứữửựуuÝŸŶΥΎΫỲỸỶỴЙYýÿŷỳỹỷỵйyВVвvŴWŵwŹŻŽΖЗZźżžζзzÆǼAEßssIJIJijijŒOEƒf'ξksπpβvμmψpsЁYoёyoЄYeєyeЇYiЖZhжzhХKhхkhЦTsцtsЧChчchШShшshЩShchщshchЪъЬьЮYuюyuЯYaяya"
    /// After:  "aaeooeuueAAeUUeOOeAAAAAAAAAAAAAAAAAAAAAAAaaaaaaaaaaaaaaaaaaaaaaaBbCCCCCCccccccDdDDjddjEEEEEEEEEEEEEEEEEEeeeeeeeeeeeeeeeeeeFfGGGGGgggggHHhhIIIIIIIIIIIIIiiiiiiiiiiiiJJjjKKkkLLLLllllMmNNNNNnnnnnOOOOOOOOOOOOOOOOOOOOOOooooooooooooooooooooooPpRRRRrrrrSSSSSSssssssTTTTttttUUUUUUUUUUUUUUUUUUUUUUUUuuuuuuuuuuuuuuuuuuuuuuuYYYYYYYYyyyyyyyyVvWWwwZZZZzzzzAEssIJijOEf'kspvmpsYoyoYeyeYiZhzhKhkhTstsChchShshShchshchYuyuYaya"
    /// 
    /// Tests with invalid 'special hidden characters':
    /// Before: "\0\0\000\0000Bj��rk�\'\"\\\0\a\b\f\n\r\t\v\u0020���oacu\'\\\'te�"
    /// After:  "00000Bjrk'\"\\\n\r oacu'\\'te"
    /// 
    /// </summary>
    private string Normalize(string StringToClean)
    {
        string normalizedString = StringToClean.Normalize(NormalizationForm.FormD);
        StringBuilder Buffer = new StringBuilder(StringToClean.Length);

        for (int i = 0; i < normalizedString.Length; i++)
        {
            if (CharUnicodeInfo.GetUnicodeCategory(normalizedString[i]) != UnicodeCategory.NonSpacingMark)
            {
                Buffer.Append(normalizedString[i]);
            }
        }

        string PreAsciiCompliant = Buffer.ToString().Normalize(NormalizationForm.FormC);
        StringBuilder AsciiComplient = new StringBuilder(PreAsciiCompliant.Length);

        foreach (char character in PreAsciiCompliant)
        {
            //Reject all special characters except \n\r (Carriage-Return and Line-Feed). 
            //Get rid of special hidden character, like EOF, NUL, TAB and other '\0'
            if (((int)character >= 32 && (int)character < 127) || ((int)character == 10 || (int)character == 13)) 
            {
                AsciiComplient.Append(character);
            }
        }
        return AsciiComplient.ToString().Trim(); // Remove spaces at start and end of string if any
    }

Answer 2

我不同意当前“已批准”的答案。当您为文本编制索引时，这个问题非常有意义。与不区分大小写的搜索一样，不区分重音的搜索也是一个好主意。 "naïve" 匹配 "Naïve" 匹配 "naive" 匹配 "NAİVE"（你确实知道土耳其语中大写的 i 是 İ？这就是你忽略重音符号的原因）

现在，最佳算法暗示了已获批准的答案：使用 NKD（分解）将重音字母分解为基本字母和单独的重音，然后删除所有重音。

不过，之后的重新构图没什么意义。您删除了大多数会更改的序列，而其他序列的所有意图和目的无论如何都是相同的。 NKC中的æ和NKD中的æ有什么区别？

Answer 3

我无法链接 ICU 库，但我仍然认为这是最好的解决方案。因为我需要这个程序尽快运行，所以我做了一个小程序（我必须改进），我将使用它。谢谢大家的建议和回答。

这是我要使用的代码：

for (it= dictionary.begin(); it != dictionary.end(); it++)
{
    strMine=(it->first);
    found=toReplace.find(strMine);
    while (found != std::string::npos)
    {
        strAux=(it->second);
        toReplace.erase(found,2);
        toReplace.insert(found,strAux);
        found=toReplace.find(strMine,found+1);
    }
} 

下次我必须提交我的程序进行更正时（大约 6 周后），我会更改它。

Answer 4

我绝对认为您应该调查问题的根源。也就是说，寻找一种解决方案，让您支持以 Unicode 编码的字符或用户的区域设置。

话虽如此，您的问题是您正在处理多字符串。有std::wstring，但我不确定我会使用它。一方面，宽字符并不意味着处理可变宽度编码。这个洞很深，所以我就留着吧。

现在，至于您的其余代码，它很容易出错，因为您将循环逻辑与翻译逻辑混合在一起。因此，至少会出现两种错误：翻译错误和循环错误。请务必使用 STL，它可以在循环部分为您提供很多帮助。

下面是替换字符串中字符的粗略方案。

ma​​in.cpp：

#include <iostream>
#include <string>
#include <iterator>
#include <algorithm>
#include "translate_characters.h"

using namespace std;

int main()
{
    string text;
    cin.unsetf(ios::skipws);
    transform(istream_iterator<char>(cin), istream_iterator<char>(),
              inserter(text, text.end()), translate_characters());
    cout << text << endl;
    return 0;
}

translate_characters.h：

#ifndef TRANSLATE_CHARACTERS_H
#define TRANSLATE_CHARACTERS_H

#include <functional>
#include <map>

class translate_characters : public std::unary_function<const char,char> {
public:
    translate_characters();
    char operator()(const char c);

private:
    std::map<char, char> characters_map;
};

#endif // TRANSLATE_CHARACTERS_H

translate_characters.cpp：

#include "translate_characters.h"

using namespace std;

translate_characters::translate_characters()
{
    characters_map.insert(make_pair('e', 'a'));
}

char translate_characters::operator()(const char c)
{
    map<char, char>::const_iterator translation_pos(characters_map.find(c));
    if( translation_pos == characters_map.end() )
        return c;
    return translation_pos->second;
}

Answer 5

如果可以（如果您正在运行 Unix），我建议为此使用tr 工具：它是为此目的而定制的。请记住，没有代码 == 没有错误代码。 :-)

编辑：对不起，你是对的，tr 似乎不起作用。 sed 怎么样？这是我写的一个非常愚蠢的脚本，但它对我有用。

#!/bin/sed -f
s/á/a/g;
s/é/e/g;
s/í/i/g;
s/ó/o/g;
s/ú/u/g;
s/ñ/n/g;

Answer 6

尝试使用 std::wstring 代替 std::string。 UTF-16 应该可以工作（而不是 ASCII）。

Answer 7

首先，这是一个非常糟糕的主意：您通过删除字母来破坏某人的语言。尽管像“naïve”这样的单词中多余的点对于只会说英语的人来说似乎是多余的，但世界上确实有成千上万的书写系统，其中这种区别非常重要。编写软件来破坏某人的言论会让你在使用计算机作为扩大人类表达领域的手段与压迫工具之间的紧张关系中处于错误的一边。

您尝试这样做的原因是什么？是不是更深层次的东西让口音窒息了？很多人都愿意帮助您解决这个问题。

也就是说，libicu 可以为您做到这一点。打开transform demo；将您的西班牙语文本复制并粘贴到“输入”框中；进入

NFD; [:M:] remove; NFC

作为“复合 1”并单击变换。

（在Unicode Transforms in ICU 的幻灯片 9 的帮助下。幻灯片 29-30 展示了如何使用 API。）

Answer 8

您可能想查看 boost (http://www.boost.org/) 库。

它有一个正则表达式库，您可以使用它。 此外，它还有一个特定的库，其中包含一些用于字符串操作 (link) 的函数，包括替换。