如何在 ruby​​ 中不通过 UTF-8 将编码从 ASCII-8BIT 转换为另一种？

Question

irb(main):010:0> str = "sar\xE0".force_encoding "ASCII-8BIT"
irb(main):011:0> str.encode 'ISO-8859-1', "ASCII-8BIT"
Encoding::UndefinedConversionError: "\xE0" to UTF-8 in conversion from ASCII-8BIT to UTF-8 to ISO-8859-1
    from (irb):11:in `encode'
    from (irb):11
    from /Users/ben/.rbenv/versions/2.4.1/bin/irb:11:in `<main>'

我有一个字符串为ASCII-8BIT（二进制），我想把它带到另一个编码，但似乎每次转换都试图将它转换为utf-8，所以它失败了（基本上它迫使我替换未定义的字符）。

为什么会这样？如何避免？

Answer 1

给定一个二进制 (ASCII-8BIT) 编码的字符串：

str = "sar\xE0".b #=> "sar\xE0"
str.encoding      #=> #<Encoding:ASCII-8BIT>

你可以通过force_encoding告诉Ruby这个字符串实际上在ISO-8859-1中：

str.force_encoding('ISO-8859-1') #=> "sar\xE0"
str.encoding                     #=> #<Encoding:ISO-8859-1>

请注意，您仍然会看到 \xE0，因为 Ruby 不会尝试转换字符。

在 UTF-8 终端上打印字符串给出：

puts str
sar�

显示replacement character �，因为0xE0 在 UTF-8 中是无效字节。

在 ISO-8859-1 终端上打印相同的字符串会给出：

puts str
sarà

要在 Ruby 中处理字符串，您通常希望通过 encode! 将其转换为 UTF-8：

str.encode!('UTF-8') #=> "sarà"
str.encoding         #=> #<Encoding:UTF-8>

或者在一个步骤中将目标编码和源编码都传递给encode!：

str = "sar\xE0".b                  #=> "sar\xE0"
str.encode!('UTF-8', 'ISO-8859-1') #=> "sarà"
str.encoding                       #=> #<Encoding:UTF-8>