节点JS。处理�字符编码

Question

我在处理字符编码时遇到了困难。我正在尝试抓取以下网址：

http://www.google.com/movies?near=Montreal&date=0

我的代码如下所示：

var http = require('http');
var url = require('url');
var Iconv  = require('iconv').Iconv;

var location = 'montreal';

var googleMovies = url.parse("http://www.google.com/movies?near=" + location);

var req = http.request(googleMovies, function(response) {
    var str = '';
    response.on('data', function(chunk) {
        str += chunk;
    });
    response.on('end', function() {

        var iconv = new Iconv('latin1', 'UTF-8');
        str = iconv.convert(str).toString();

        console.log(str);
    });
});
req.end()

我第一次尝试不使用：

    var iconv = new Iconv('latin1', 'UTF-8');
    str = iconv.convert(str).toString();

但这导致了 � 字符。

我已经测试了本页上面列出的源代码：

http://nlp.fi.muni.cz/projects/chared/

它似乎将其检测为 latin1，但情况可能是错误的。

Answer 1

如果您将User-Agent 设置为桌面浏览器，则HTML 中的元标记和响应标头中的Content-Type 会将charset 设置为UTF-8 而不是latin1。示例：

var dest = url.parse('http://www.google.com/movies?near=montreal');
dest.headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36',
};

http.get(dest, function(response) {
  var str = '';

  response.on('data', function(chunk) {
    str += chunk;
  }).on('end', function() {
    console.log(str);
  }).setEncoding('utf8');
});

Answer 2

�字符来自串联：

response.on('data', function(chunk) {
    str += chunk;
});

这会将每个chunk 转换为带有default encoding of utf8 的String。 Buffers 中任何作为 UTF-8 无效的序列都将丢失并在此时替换为 �。

您需要将chunks 保留为Buffers，直到convert() 之后。它们可以在Array 中收集并与Buffer.concat() 结合使用。

var chunks = [];

response.on('data', function (chunk) {
    chunks.push(chunk);
});

response.on('end', function () {
    var iconv = new Iconv('latin1', 'UTF-8');
    var str = iconv.convert(Buffer.concat(chunks)).toString();
    console.log(str);
});

Answer 3

Buffer 的默认编码是 UTF-8，这是一种可变宽度编码系统。 ASCII 范围之后的字符使用多个字节进行编码。如果您接收到特定于 latin1 的字符（代码点 > 127），它们将设置第一位，UTF-8 解码器会将其视为多字节字符，最终导致未映射的代码点（显示为 �） .

iconv 有一个流解码器，您可以将响应流通过管道传输到该解码器。

http.request(googleMovies, function (response) {
    var iconv = new Iconv('latin1', 'UTF-8');
    response.pipe(iconv).pipe(process.stdout);
    //or response.pipe(iconv).on('data', console.log);
}).end();