如何使用 Nokogiri 克服“未知编码名称 - macintosh”错误答案

【问题标题】：How to overcome "unknown encoding name - macintosh" error with Nokogiri如何使用 Nokogiri 克服“未知编码名称 - macintosh”错误
【发布时间】：2016-10-11 13:51:15
【问题描述】：

我使用的是 Rails 4.2.7。我目前正在使用以下逻辑来解析带有 Nokogiri 的文档：

content.xpath("//pre[@class='text-results']").xpath('text()').to_s

在我的 HTML 文档中，此内容出现在我的“文本结果”块中：

<pre class="text-results"><html xmlns:o="urn:schemas-microsoft-com:office:office"
xmlns:w="urn:schemas-microsoft-com:office:word"
xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta name=Title content="&lt;p&gt;&lt;a href=http://mychiptime">
<meta name=Keywords content="">
<meta http-equiv=Content-Type content="text/html; charset=macintosh”>…

我包含此部分是因为我的解析因以下错误而终止：

Error during processing: unknown encoding name - macintosh
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node.rb:627:in `find'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node.rb:627:in `serialize'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node.rb:786:in `to_format'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node.rb:642:in `to_html'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node.rb:512:in `to_s'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node_set.rb:187:in `block in each'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node_set.rb:186:in `upto'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node_set.rb:186:in `each'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node_set.rb:218:in `map'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/nokogiri-1.6.8.1/lib/nokogiri/xml/node_set.rb:218:in `to_s'
/Users/davea/Documents/workspace/myproject/app/services/onlinerr_service.rb:8:in `pre_process_data'
/Users/davea/Documents/workspace/myproject/app/services/abstract_import_service.rb:77:in `process_my_object_data'
/Users/davea/Documents/workspace/myproject/app/services/onlinerr_my_object_finder_service.rb:82:in `process_my_object_link'
/Users/davea/Documents/workspace/myproject/app/services/abstract_my_object_finder_service.rb:29:in `block in process_data'
/Users/davea/Documents/workspace/myproject/app/services/abstract_my_object_finder_service.rb:28:in `each'
/Users/davea/Documents/workspace/myproject/app/services/abstract_my_object_finder_service.rb:28:in `process_data'
/Users/davea/Documents/workspace/myproject/app/services/run_crawlers_service.rb:18:in `block in run_all_crawlers'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/activerecord-4.2.7.1/lib/active_record/relation/delegation.rb:46:in `each'
/Users/davea/.rvm/gems/ruby-2.3.0/gems/activerecord-4.2.7.1/lib/active_record/relation/delegation.rb:46:in `each'
/Users/davea/Documents/workspace/myproject/app/services/run_crawlers_service.rb:5:in `run_all_crawlers'

有什么方法可以让 Nokogiri 忽略这个未知的编码？我正在尝试将 <pre> 标记内的内容作为文本获取，因此我不需要进一步解析它。

我在 Mac El Capitan 上。根据评论，这是我的语言环境设置：

davea$ locale
LANG="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_CTYPE="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_ALL=

【问题讨论】：

将您的locale 设置为utf-8，请参阅：perlgeek.de/en/article/set-up-a-clean-utf8-environment
我在 Mac 上，但我的语言环境设置已经是 utf-8。我将它们作为对我的问题的编辑。
在运行rails s 之前执行export LC_ALL="en_US.UTF-8" 看看是否有同样的问题
见stackoverflow.com/a/20521428/1020958
嗨@bjhaid，你是说改变我的源编码还是外部编码？

标签： html ruby-on-rails ruby encoding nokogiri

【解决方案1】：

您的 HTML 无效。您在<body> 之外有一个<pre> 标签，因此，Nokogiri 不得不进行修复，这通常会导致有问题的结果。

这是 Nokogiri 对文件的评价：

doc.errors # => [#<Nokogiri::XML::SyntaxError: htmlParseStartTag: misplaced <html> tag>, #<Nokogiri::XML::SyntaxError: htmlParseStartTag: misplaced <head> tag>, #<Nokogiri::XML::SyntaxError: AttValue: " expected>, #<Nokogiri::XML::SyntaxError: Couldn't find end of Start Tag meta>]
doc.to_html # => "<pre class=\"text-results\">\n\n\n<meta name=\"Title\" content=\"&lt;p&gt;&lt;a href=http://mychiptime\">\n<meta name=\"Keywords\" content=\"\">\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=macintosh”&gt;\n&lt;/head&gt;\n\"></pre>"

只看有问题的那一行，也让Nokogiri感到困惑：

doc = Nokogiri::HTML::DocumentFragment.parse('<meta http-equiv=Content-Type content="text/html; charset=macintosh”>')

doc.errors # => [#<Nokogiri::XML::SyntaxError: AttValue: " expected>, #<Nokogiri::XML::SyntaxError: Couldn't find end of Start Tag meta>]
doc.to_html # => "<meta http-equiv=\"Content-Type\" content=\"text/html; charset=macintosh”&gt;\">"

请注意，Nokogiri 不会将右花引号识别为字符串 content="text/html; charset=macintosh” 的终止符。

您无法在 Nokogiri 中解决此问题。您需要提供适当的结构，并且需要在解析文档之前进行搜索和替换以转换大引号。希望文档不会将它们包含在文本中的 <body> 中，否则您将更改可能对您的使用造成问题的文本。

你在它们不应该存在的地方有花引号的事实很奇怪。如果您的编辑器正在从直引号转换为弯引号，那么您需要立即关闭该功能，因为它会对编码造成真正的破坏。用于编码的优秀文本编辑器甚至不会使用花引号，因为它们会引起问题。

据我所知，Nokogiri 正在抱怨“macintosh”序列。

require 'nokogiri'

doc = Nokogiri::HTML::DocumentFragment.parse('<meta http-equiv=Content-Type content="text/html; charset=macintosh">')
doc.at('meta')['content'] # => "text/html; charset=macintosh"

如果 HTML 是干净的，则无关紧要。

【讨论】：

不幸的是，我无法控制此 HTML 的内容。它是从外部网站提供给我的。不要担心花引号，这只是一个换位错误。据我所知，Nokogiri 正在抱怨“macintosh”序列。
不，如果 HTML 是干净的，它根本不担心“macintosh”。查看添加的信息。

【解决方案2】：

见Nokogiri, open-uri, and Unicode Characters

当 Nokogiri 解析文档时，它使用文档指定的编码（除非您明确告诉它使用什么编码）。

"macintosh" 不是默认的 Ruby encoding（请参阅 Encoding.list 了解 Ruby 知道的所有编码列表）。

您可以强制 Nokogiri 使用显式编码，方法是将其作为参数传递给 parse。

# encoding is guessed from the document
doc = Nokogiri::HTML.parse(File.open('test.html'))
doc.xpath("//pre[@class='text-results']").xpath('text()').to_s
ArgumentError: unknown encoding name - macintosh

# force Nokogiri to parse the document as 'utf-8'
doc = Nokogiri::HTML.parse(File.open('test.html'), nil, 'utf-8')
doc.xpath("//pre[@class='text-results']").xpath('text()').to_s
 => "\n\n\n"

需要注意的是，Nokogiri 确实会将内容解析为“utf-8”，这意味着如果使用其他编码（如 macintosh）对任何特殊字符进行编码，它们可能会出现乱码。

【讨论】：

IANA/MIME 字符集名称“macintosh”在 Ruby 中称为“macRoman”。 Nokogiri 理论上应该像处理其他 MIME 字符集一样处理这个问题，但您可以自己提供一个额外的别名：Encoding.find('macRoman').duplicate('macintosh')
@RJHunter 建议对我有用，但方法现在显然是“复制”而不是“复制”