【问题标题】:How to convert (transliterate) a string from utf8 to ASCII (single byte) in c#?如何在 c# 中将字符串从 utf8 转换(音译)为 ASCII(单字节)?
【发布时间】:2010-10-04 14:38:16
【问题描述】:

我有一个字符串对象

“有多个字符甚至特殊字符”

我正在尝试使用

UTF8Encoding utf8 = new UTF8Encoding();
ASCIIEncoding ascii = new ASCIIEncoding();

objects 以便将该字符串转换为 ascii。我可以请人为这个简单的任务带来一些启发,那就是打猎我的下午。

编辑 1: 我们正在努力完成的是摆脱特殊字符,如一些特殊的窗口撇号。我在下面发布的作为答案的代码不会解决这个问题。基本上

奥布莱恩将成为奥布莱恩。其中 ' 是特殊撇号之一

【问题讨论】:

  • 请注意,如果您想将重音字符替换为无重音字符,可以使用 str.Normalize(NormalizationForm.FormKD)

标签: c# encoding utf-8 ascii transliteration


【解决方案1】:

这是对您的另一个问题的回应,看起来它已被删除....重点仍然存在。

看起来像classic Unicode to ASCII issue。诀窍是找到它发生的位置

.NET 可以在 Unicode 上正常工作,假设以 it's told it's Unicode 开头(或保留默认值)。

我的猜测是您的接收应用无法处理它。所以,我可能会使用 ASCIIEncoder withEncoderReplacementFallback 和 String.Empty:

using System.Text;

string inputString = GetInput();
var encoder = ASCIIEncoding.GetEncoder();
encoder.Fallback = new EncoderReplacementFallback(string.Empty);

byte[] bAsciiString = encoder.GetBytes(inputString);

// Do something with bytes...
// can write to a file as is
File.WriteAllBytes(FILE_NAME, bAsciiString);
// or turn back into a "clean" string
string cleanString = ASCIIEncoding.GetString(bAsciiString); 
// since the offending bytes have been removed, can use default encoding as well
Assert.AreEqual(cleanString, Default.GetString(bAsciiString));

当然,在过去,我们只是循环并删除任何字符greater than 127...嗯,至少我们这些在美国的人。 ;)

【讨论】:

  • 感谢它完美运行。我只需要做一个小改动。编码编码器 = ASCIIEncoding.GetEncoding("us-ascii", new EncoderReplacementFallback(string.Empty), new DecoderExceptionFallback());
  • +1 表示 EncoderReplacementFallback - 我以前从未听说过。喜欢它。
  • EncoderReplacementFallback 带有问号是默认设置。在这种情况下,似乎需要“更好的有损”。当有损是不能容忍的(恕我直言,这应该是默认值)时,异常回退很有用。
【解决方案2】:

我能够弄清楚。如果有人想知道下面对我有用的代码:

ASCIIEncoding ascii = new ASCIIEncoding();
byte[] byteArray = Encoding.UTF8.GetBytes(sOriginal);
byte[] asciiArray = Encoding.Convert(Encoding.UTF8, Encoding.ASCII, byteArray);
string finalString = ascii.GetString(asciiArray);

如果有更简单的方法,请告诉我。

【讨论】:

  • 值得注意的是,如果字符串中包含ASCII不能表示的字符,转换后就不是同一个字符串了。根据 Encoding.Convert 的工作方式(我不知道),它可能会丢失这些字符或出现乱码。
  • 其实我只是测试了一些场景,你说的是真的。你知道如何克服这个限制吗?例如,如果我有一个特殊的撇号用普通撇号替换它。
【解决方案3】:

对于喜欢扩展方法的任何人,这个方法对我们有用。

using System.Text;

namespace System
{
    public static class StringExtension
    {
        private static readonly ASCIIEncoding asciiEncoding = new ASCIIEncoding();

        public static string ToAscii(this string dirty)
        {
            byte[] bytes = asciiEncoding.GetBytes(dirty);
            string clean = asciiEncoding.GetString(bytes);
            return clean;
        }
    }
}

(系统命名空间,因此它几乎可以自动用于我们所有的字符串。)

【讨论】:

    【解决方案4】:

    根据上面 Mark 的回答(和 Geo 的评论),我创建了一个两个班轮版本来从字符串中删除所有 ASCII 异常情况。提供给搜索此答案的人(就像我一样)。

    using System.Text;
    
    // Create encoder with a replacing encoder fallback
    var encoder = ASCIIEncoding.GetEncoding("us-ascii", 
        new EncoderReplacementFallback(string.Empty), 
        new DecoderExceptionFallback());
    
    string cleanString = encoder.GetString(encoder.GetBytes(dirtyString)); 
    

    【讨论】:

      【解决方案5】:

      如果您想要在许多编码中使用的字符的 8 位表示,这可能会对您有所帮助。

      您必须将变量 targetEncoding 更改为您想要的任何编码。

      Encoding targetEncoding = Encoding.GetEncoding(874); // Your target encoding
      Encoding utf8 = Encoding.UTF8;
      
      var stringBytes = utf8.GetBytes(Name);
      var stringTargetBytes = Encoding.Convert(utf8, targetEncoding, stringBytes);
      var ascii8BitRepresentAsCsString = Encoding.GetEncoding("Latin1").GetString(stringTargetBytes);
      

      【讨论】:

        猜你喜欢
        • 2011-01-21
        • 1970-01-01
        • 1970-01-01
        • 2017-05-18
        • 2012-07-17
        • 2017-03-30
        • 2011-01-13
        • 1970-01-01
        • 2012-10-03
        相关资源
        最近更新 更多