Perl 在 4096 字节后将 utf8 识别为 Unicode

Question

我有一个 Perl/CGI 应用程序，我在其中接收一个 utf8 txt 文件并处理其内容。

由于某种原因（我认为 Perl 将文件划分为 4096 字节的缓冲区，并且只有第一个具有字节顺序标记）Perl 将文件的内容解释为 4096 字节之后的 Unicode。

如果我在文件中间散布一些短划线（“-”）（每个 4k 块至少一个），程序会将其识别为 utf8，可能是因为 Unicode 没有短划线。

我从 html 页面接收 txt 并将其发送到这样的标量变量：

while(my $l = <$fh>){
    $text .= $l;
}

我尝试通过用短划线连接文件的每一行来强制使用 utf8：

while(my $l = <$fh>){
    $text .= "–".$l;
}

但我收到此错误：

Wide character in print at (eval 12) line 94.

有人有小费吗？ 有 谢谢！

Answer 1

Perl 可以对 Unicode 代码点进行操作，但所有 I/O 都是以字节完成的。当您将具有高代码点的字符串打印到普通文件句柄时，您会收到“打印中的宽字符”警告。

您应该解码所有输入数据，并编码所有输出。最好的方法是使用 PerlIO 层。您可以使用binmode 添加图层。例如：

use utf8; # This source file is encoded in UTF-8.
          # Else, the literal "–" would be seen as multiple bytes, not one single character.

binmode STDOUT, ":uft8"; # encode all strings (that get printed to STDOUT)
                         # to the binary UTF-8 representation
print "–\n"; # EN DASH – works.

打开文件时，可以在打开模式下添加 PerlIO 层，例如

open my $fh "<:utf8", $filename or die ...;

这会将二进制输入透明地转换为代码点。

不要将包含二进制 UTF-8 的字节字符串与正确解码的字符串连接 - 结果很可能是无效数据。当然，解码所有输入时不会出现此类问题。

Perl 缓冲输入的方式不应该影响你的程序；很可能你误诊了。 Perl 不通过 BOM 对输入文件进行编码检测。

在 Web 编程环境中，将输出编码为 UTF-8 是一个不错的选择，但请确保在响应标头中设置 charset 属性：

Content-Type: text/html; charset=UTF-8

HTML 文档应使用<meta charset="UTF-8"> 重申这一点。

Answer 2

试试：

use Encode qw(encode);

$text = join '', <$fh>;

$text = encode("utf8", $text);