Ruby to_json 出现错误“非法/格式错误的 utf-8”问题

Question

尝试将散列转换为 json 字符串时出现错误 JSON::GeneratorError: source sequence is illegal/malformed utf-8。我想知道这是否与编码有关，我怎样才能让 to_json 按原样对待 \xAE？

$ irb
2.0.0-p247 :001 > require 'json'
=> true
2.0.0-p247 :002 > a = {"description"=> "iPhone\xAE"}
=> {"description"=>"iPhone\xAE"}
2.0.0-p247 :003 > a.to_json
JSON::GeneratorError: source sequence is illegal/malformed utf-8
  from (irb):3:in `to_json'
  from (irb):3
  from /Users/cchen21/.rvm/rubies/ruby-2.0.0-p247/bin/irb:16:in `<main>'

Answer 1

\xAE 不是 UTF-8 中的有效字符，您必须改用 \u00AE：

"iPhone\u00AE"
#=> "iPhone®"

或者进行相应的转换：

"iPhone\xAE".force_encoding("ISO-8859-1").encode("UTF-8")
#=> "iPhone®"

Answer 2

Ruby 中的每个字符串都有一个底层编码。根据您的 LANG 和 LC_ALL 环境变量，交互式 shell 可能会以给定的编码执行和解释您的字符串。

$ irb
1.9.3p392 :008 > __ENCODING__
 => #<Encoding:UTF-8>

（忽略我使用的是 Ruby 1.9 而不是 2.0，思路还是一样的）。

__ENCODING__ 返回当前源编码。你的可能也会说 UTF-8。

当您在代码中创建文字字符串并使用字节转义符（\xAE）时，Ruby 会尝试根据字符串编码对其进行解释：

1.9.3p392 :003 > a = {"description" => "iPhone\xAE"}
 => {"description"=>"iPhone\xAE"}
1.9.3p392 :004 > a["description"].encoding
 => #<Encoding:UTF-8>

因此，文字字符串末尾的字节 \xAE 将被尝试视为 UTF-8 流字节，但它是无效的。看看我尝试打印时会发生什么：

1.9.3-p392 :001 > puts "iPhone\xAE"
iPhone�
 => nil

您需要提供有效 UTF-8 编码的注册标记字符（使用真实字符，或提供两个 UTF-8 字节）：

1.9.3-p392 :002 > a = {"description1" => "iPhone®", "description2" => "iPhone\xc2\xae"}
 => {"description1"=>"iPhone®", "description2"=>"iPhone®"}
1.9.3-p392 :005 > a.to_json
 => "{\"description1\":\"iPhone®\",\"description2\":\"iPhone®\"}"

或者，如果您的输入是 ISO-8859-1（拉丁语 1）并且您确定，您可以告诉 Ruby 将您的字符串解释为另一种编码：

1.9.3-p392 :006 > a = {"description1" => "iPhone\xAE".force_encoding('ISO-8859-1') }
 => {"description1"=>"iPhone\xAE"}
1.9.3-p392 :007 > a.to_json
 => "{\"description1\":\"iPhone®\"}"

希望对你有帮助。