Perl：从 cp1251 转换为 utf8答案

【问题标题】：Perl: converting from cp1251 to utf8Perl：从 cp1251 转换为 utf8
【发布时间】：2016-01-12 00:06:11
【问题描述】：

我尝试将字符串转换为 utf8。

#!/usr/bin/perl -w
use Encode qw(encode decode is_utf8);
$str = "\320\300\304\310\323\321 \316\320\300\312\313";
Encode::from_to($str, 'windows-1251', 'utf-8');
print "converted:\n$str\n";

在这种情况下，我得到了我需要的东西：

# ./convert.pl
converted:
РАДИУС ОРАКЛ

但是如果我使用外部变量：

#!/usr/bin/perl -w
use Encode qw(encode decode is_utf8);
$str = $ARGV[0];
Encode::from_to($str, 'windows-1251', 'utf-8');
print "converted:\n$str\n";

什么都没有发生。

# ./convert.pl "\320\300\304\310\323\321 \316\320\300\312\313"
 converted:
\320\300\304\310\323\321 \316\320\300\312\313

这是第一个示例的转储：

SV = PV(0x1dceb78) at 0x1ded120
REFCNT = 1
FLAGS = (POK,pPOK)
PV = 0x1de7970 "\320\300\304\310\323\321 \316\320\300\312\313"\0
CUR = 12
LEN = 16

第二个：

SV = PV(0x1c1db78) at 0x1c3c110
REFCNT = 1
FLAGS = (POK,pPOK)
PV = 0x1c5e7e0 "\\320\\300\\304\\310\\323\\321 \\316\\320\\300\\312\\313"\0
CUR = 45
LEN = 48

我试过这个方法：

#!/usr/bin/perl -w
use Devel::Peek;
$str = pack 'C*', map oct, $ARGV[0] =~ /\\(\d{3})/g;
print Dump ($str);

# ./convert.pl "\320\300\304\310\323\321 \316\320\300\312\313"

SV = PV(0x1c1db78) at 0x1c3c110
REFCNT = 1
FLAGS = (POK,pPOK)
PV = 0x1c5e7e0 "\320\300\304\310\323\321\316\320\300\312\313"\0
CUR = 11
LEN = 48

但这又不是我需要的。你能帮我得到第一个脚本中的结果吗？

使用后

($str = shift) =~ s/\\([0-7]+)/chr oct $1/eg

按照鲍罗丁的建议，我明白了

SV = PVMG(0x13fa7f0) at 0x134d0f0
  REFCNT = 
  FLAGS = (SMG,POK,pPOK)
  IV = 0
  NV = 0
  PV = 0x1347970 "\320\300\304\310\323\321 \316\320\300\312\313"\0
  CUR = 12
  LEN = 16
  MAGIC = 0x1358290 
    MG_VIRTUAL = &PL_vtbl_mglob
    MG_TYPE = PERL_MAGIC_regex_global(g)
    MG_LEN = -1

【问题讨论】：

您的输入格式到底是什么？除了反斜杠+八进制数之外，它可以包含任何特殊序列吗？
当您pack 时，您必须逃脱逃脱。输入应该是"\\320\\300\\304\\310\\323\\321 \\316\\320\\300\\312\\313"另外如果你想要空格，你需要使用八进制空格char（040），"\\320\\300\\304\\310\\323\\321\\040\\316\\320\\300\\312\\313"
你说你的第三个例子是 "not what I need" 但字符串与你说的第一个例子是相同的，除了你删除了空格。它到底有什么问题？
这行得通吗？ ($str = shift) =~ s/\\([0-7]+)/chr oct $1/eg
@melpomene 输入格式为 utf-8 字符串，但该字符串包含来自Windows-1251 table的符号

标签： perl encoding utf-8 cp1251

【解决方案1】：

目前尚不清楚您获得了什么输入或从哪里获得，或者您希望输出是什么，但您不应该将数据编码为 UTF-8 以便在程序中使用，因为您想要处理字符，而不是编码字节。您应该从发送到程序的任何外部编码中对其进行解码，然后像这样使用它

听起来输入是 Windows-1251，输出是 UTF-8 (?)，我认为反斜杠会分散注意力。文件中没有反斜杠或在键盘上键入有吗？所以为了清楚起见将基数更改为十六进制，你的输入字符串是这样的

"\xD0\xC0\xC4\xC8\xD3\xD1\x20\xCE\xD0\xC0\xCA\xCB"

你想把它转换成 Perl 字符串，用它做一些事情，然后把它打印到输出中。如果您在 Linux 机器上并且想从原始输入字节显式解码它，那么您需要编写类似这样的内容

use utf8;
use strict;
use warnings;
use feature 'say';

use open qw/ :std OUT :encoding(UTF-8) /;
use Encode qw/ decode /;

my $str = "\xD0\xC0\xC4\xC8\xD3\xD1\x20\xCE\xD0\xC0\xCA\xCB";

$str = decode('Windows-1251', $str);

say $str;

输出

РАДИУС ОРАКЛ

但这是人为的情况。该字符串实际上来自输入流，因此最好设置流的编码并忘记手动解码。如果您从 STDIN 读取数据，则可以使用 binmode，如下所示

binmode STDIN, 'encoding(Windows-1251)';

然后从 STDIN 输入的文本将从 Windows-1251 编码的字节隐式转换为字符串。或者，如果您使用自己的句柄打开文件，则可以将编码放在 open 调用中

open my $fh, '<:encoding(Windows-1251)', $file or die $!;

然后你也不需要添加binmode

正如我所说，我假设您的输出是 UTF-8，并且在该行上方的程序中

use open qw/ :std OUT :encoding(UTF-8) /;

将所有输出文件句柄设置为默认的UTF-8编码。 :std 还将内置句柄 STDOUT 和 STDERR 设置为 UTF-8。如果这不是您想要的，并且您不知道如何根据需要进行设置，请询问

【讨论】：

【解决方案2】：

想一想：

$ perl -le 'print length("\320\300\304\310\323\321 \316\320\300\312\313")'
12

$ perl -le 'print length($ARGV[0])' "\320\300\304\310\323\321 \316\320\300\312\313"
45

这里我们接收给定字符串中的字符数。注意，当字符串inside perl 脚本时，perl 会根据反斜杠符号的代码来解释它们。但是如果反斜杠符号在 perl 脚本之外，它们只是 shell 符号，shell 不会以某种方式解释它们，所以你得到的正是你给出的。

【讨论】：

【解决方案3】：

将 utf-8 终端中键入的反斜杠和八进制数字转换为 cp1251 的几个简单方法：

$str = perl -e 'print "$ARGV[0]"' | iconv -f windows-1251;
print $str;

或

$str = pack "C*", map oct()? oct : 32, $ARGV[0] =~ / \d{3} | \s /gx;
print $str;

【讨论】：