【发布时间】:2014-04-11 14:16:58
【问题描述】:
我有一个字符串 $data,用 utf-8 编码。我假设我不知道这个字符串是 utf-8 还是 iso-8859-1。我想使用 Perl Encode::Guess 模块来查看它是一个还是另一个。我无法弄清楚这个模块是如何工作的。
我尝试了以下四种方法(来自http://perldoc.perl.org/Encode/Guess.html):
use Encode::Guess qw/utf8 latin1/;
my $decoder = guess_encoding($data);
print "$decoder\n";
结果: iso-8859-1 或 utf8
use Encode::Guess qw/utf8 latin1/;
my $enc = guess_encoding($data, qw/utf8 latin1/);
ref($enc) or die "Can't guess: $enc";
my $utf8 = $enc->decode($data);
print "$utf8\n";
结果:无法猜测:encodage-windows.pl 第 25 行第 18110 行的 iso-8859-1 或 utf8。
use Encode::Guess qw/utf8 latin1/;
my $decoder = Encode::Guess->guess($data);
die $decoder unless ref($decoder);
my $utf8 = $decoder->decode($data);
print "$utf8\n";
结果: encodage-windows.pl 第 30 行第 18110 行中的 iso-8859-1 或 utf8。
use Encode::Guess qw/utf8 latin1/;
my $utf8 = Encode::decode("Guess", $data);
print "$utf8\n";
结果: iso-8859-1 或 utf8 位于 /usr/local/lib/perl5/Encode.pm 第 175 行。
我的第一个问题是:我应该使用这些方法中的哪一种(如果有的话)? 我的第二个问题是:我应该做些什么改变才能完成这项工作?
【问题讨论】:
-
使用 Encode::Guess 太过分了。见stackoverflow.com/a/22868803/589924
-
@ikegami 在 utf-8 与 latin1 的情况下是过度杀伤,还是一般的过度杀伤?使用模块似乎比尝试解码更简单,但我可能弄错了。
-
仅包含 ASCII 字符(范围 0..127)的文本是有效的 ASCII、有效的 Latin-1 和有效的 UTF-8。
-
@kormak,不,这不适用于任意编码,仅适用于您不必根据内容猜测的编码。
标签: perl encoding utf-8 iso-8859-1