有效地 UTF-8 编码一个字符串

Question

我正在 WSL Debian 上运行一个脚本，该脚本从本地安装的共​​享驱动器中获取 Windows 文件。问题是文件名编码错误，即使#encoding 返回#<Encoding:UTF-8>。示例：

"J\u00E9r\u00E9my".encoding  # #<Encoding:UTF-8>

\u00E9是é的Unicode字符，所以我假设编码是Unicode

我从相关问题（Convert a unicode string to characters in Ruby?、How to convert a string to UTF8 in Ruby）中尝试了几种编码组合，但都不符合我的需求。 我也尝试了不同的“魔法 cmets”encoding: <ENCODING>，但没有令人满意的结果。

您识别和修复编码问题的方法是什么？

---

Edit1：Stefan 要求提供代码点：

"J\u00E9r\u00E9my".each_codepoint.to_a
# [74, 233, 114, 233, 109, 121]

和Encoding.default_external

Encoding.default_external
# #<Encoding:US_ASCII>

这让我很惊讶，因为我的文件顶部有一条神奇的评论 # encoding: utf-8

---

Edit2：将default_internal 和default_external 编码明确设置为Encoding::UTF_8 解决了问题

# encoding: utf-8

Encoding.default_internal = Encoding::UTF_8
Encoding.default_external = Encoding::UTF_8

虽然我想更进一步并真正理解为什么需要这样做

Answer 1

"J\u00E9r\u00E9my".encoding
#=> #<Encoding:UTF-8>
"J\u00E9r\u00E9my".each_codepoint.to_a
#=> [74, 233, 114, 233, 109, 121]

琴弦很好。它们包含正确的字节并具有正确的编码。

它们以这种方式打印是因为您的外部编码设置为（或识别为）US-ASCII：

Encoding.default_external
#=> #<Encoding:US_ASCII>

Ruby 假定您的终端只能呈现 ASCII 字符，因此使用转义序列打印 UTF-8 字符。 （使用p/String#inspect时）

外部编码通常根据您的语言环境自动确定：

$ LANG=C            ruby -e 'p Encoding.default_external'
#<Encoding:US-ASCII>

$ LANG=en_US.UTF-8  ruby -e 'p Encoding.default_external'
#<Encoding:UTF-8>

将您的终端或系统的编码/语言环境设置为 UTF-8 应该可以解决问题。