Perl / DBI / DBD::ODBC 中的自动字符编码处理

Question

我正在使用 Perl 和 DBI / DBD::ODBC 从 SQL Server 数据库中检索数据，但在字符编码方面存在一些问题。

数据库的默认排序规则为 SQL_Latin1_General_CP1_CI_AS，因此 varchar 列中的数据以 Microsoft 的 Latin-1 版本编码，也称为 windows-1252。

似乎没有办法在 DBI/DBD::ODBC 中透明地处理这个问题。我得到的数据仍然编码为windows-1252，例如，€“”被编码为字节 0x80、0x93 和 0x94。当我将它们写入 UTF-8 编码的 XML 文件而不先解码它们时，它们被写为 Unicode 字符 0x80、0x93 和 0x94，而不是 0x20AC、0x201C、0x201D，这显然是不正确的。

我目前的解决方法是在每个 fetch 之后的每一列上调用 $val = Encode::decode('windows-1252', $val)。这行得通，但似乎不是正确的方法。

有没有办法告诉DBI 或DBD::ODBC 为我做这个转换？

我正在使用 ActivePerl (5.12.2 Build 1202)，DBI (1.616) 和 DBD::ODBC (1.29) 由 ActivePerl 提供并更新为 ppm；在托管数据库的同一台服务器上运行 (SQL Server 2008 R2)。

我的连接字符串是：

dbi:ODBC:Driver={SQL Server Native Client 10.0};Server=localhost;Database=$DB_NAME;Trusted_Connection=yes;

提前致谢。

Answer 1

DBD::ODBC（和 ODBC API）不知道底层列的字符集，因此 DBD::ODBC 无法对返回的 8 位数据执行任何操作，它只能按原样返回，您需要知道什么它是并解码它。如果将列绑定为 SQL_WCHAR/SQL_WVARCHAR，则驱动程序/sql_server 应将字符转换为 UCS2，并且 DBD::ODBC 应将列视为 SQL_WCHAR/SQL_WVARCHAR。当 DBD::ODBC 以 unicode 模式构建时，SQL_WCHAR 列被视为 UCS2 并以 UTF-8 解码和重新编码，Perl 应该将它们视为 unicode 字符。

你需要在 bind_columns 之后将 SQL_WCHAR 设置为绑定类型，因为绑定类型不像参数类型那样具有粘性。

如果你想继续读取你的 varchar 数据，windows 1252 作为字节，那么目前你别无选择，只能解码它们。我并不急于向 DBD::ODBC 添加一些东西来为您做这件事，因为这是第一次有人向我提到这一点。您可能希望查看 DBI 回调，因为在这些回调中解码返回的数据可能更容易（比如 fetch 方法）。

您可能还想研究较新的 SQL Server ODBC 驱动程序中的“对字符数据执行转换”设置，尽管我自己对此没有什么经验。