ActiveRecord 是否更改了我的序列化哈希的编码

Question

我有一个 Rails 应用程序，它接受来自第三方来源的 JSON 数据，我相信我遇到了一些 ActiveRecord 幕后魔术，它可以识别从 JSON 中提取的哈希中的 ASCII-8BIT 字符并保存它们无论我做什么，我的数据库都是如此。

这里是类的简化描述...

class MyClass < ActiveRecord::Base
 serialize :data
end

以及如何创建对象...

a = MyClass.new 
a.data = {
  "a" =>
    {
      "b" => "bb",  
      "c" => "GIF89a\x01\x00\x01\x00\x00\x00\x00\x00!\vNETSCAPE2.0\x03\x01\x00\x00!\x04\t\x00\x00\x01\x00,\x00\x00\x00\x01\x00\x01\x00\x00\x02\x02L\x01\x00;"
    }
}

我相信这些是 ASCII-8BIT 字符，如果它们被保存为这样就足够公平了（尽管我尝试在任何地方都使用 UTF8）。但我需要这些字符是 UTF-8，因为当我去查看它们时，我得到：

ActionView::Template::Error ("\xEF" from ASCII-8BIT to UTF-8):
    64:       <div>
    65:         <pre><%= mc.prettify %></pre>
    66:       </div>
app/models/my_class.rb:28:in `prettify'

prettify 中的第 28 行是：

JSON.pretty_generate(self.data)

所以我试图重新编码哈希中的任何字符串。我构建了执行此操作的功能（使用anonymous classes 和refinements 到Hash、Array 和String），但无论如何，ASCII-8BIT 都会返回给我。用最简单的话来说，这就是正在发生的事情：

mc = MyClass.find(123)
mc.data['a']['c'].encode!(Encoding.find('UTF-8'), {invalid: :replace, undef: :replace, replace: ''})
mc.data['a']['c'].encoding #=> #<Encoding:UTF-8>
mc.data['a']['c'].valid_encoding? #=> true
mc.save!
mc.reload
mc.data['a']['c'].encoding #=> #<Encoding:ASCII-8BIT> <-- !!!!!

ActiveRecord 在保存此哈希时对其做了什么？我该怎么做才能在serialized MySQL（v5.6，通过mysql2 gem）mediumtext列（使用Ruby 2.2.4和Rails 4.1.4）中永久存储所有编码为UTF-8的字符串的哈希？

---

我的.cnf

[client]
default-character-set=utf8mb4

[mysql]
default-character-set=utf8mb4

[mysqld]
# ...
skip-character-set-client-handshake
collation_server=utf8_unicode_ci
init-connect='SET NAMES utf8mb4'
character-set-server=utf8

Answer 1

因此，实际上并没有“ASCII-8BIT”字符这样的东西。 ASCII-8BIT 对 ruby​​ 来说本质上意味着“根本没有编码”——只是字节，而不假设任何编码。它是“二进制”的同义词。

但是，如果您的字节不是有效的 UTF-8，它们就不能真正编码为 UTF-8。即使字符串上的编码是 UTF-8，当你尝试对它做一些事情时，充其量你会得到很多 InvalidEncoding 错误。

字符串最终会被标记为什么编码取决于 ActiveRecord 和您的数据库本身之间的复杂关系——此外，数据库本身有时实际上可以更改您的字节，具体取决于数据库和如何它已经设置好了，你正在做什么。我们可以尝试准确调试您在做什么。

但实际上，答案是——如果您希望它是 UTF-8，它就不能包含二进制非 UTF8 数据。 “ASCII-8BIT”实际上是二进制数据的正确编码。你实际上想做什么，那些奇怪的字节来自哪里，你为什么想要它们？一般来说，我不确定在 JSON 中放置任意非 UTF8 字节是否合法？它对 JSON 来说可能是合法的，但它可能会让你头疼（比如你正在处理的那个），因为它取决于 rails 和你的底层数据库将如何处理它们。

只是为了解决显示错误，您可以让您的 prettify 方法使用 scrub，在 ruby​​ 2.1.0 中添加以消除当前编码的坏字节。 value.force_encoding("UTF-8").scrub。这可能会消除你的错误，并且可能会做正确的事情，但最好弄清楚到底发生了什么，为什么你首先想要那些奇怪的字节，它们应该是什么意思是为了什么目的。