使用 XMLHttpRequest 获取非 utf8 数据

Question

我想使用xmlHttpRequest 从网上获取一个文档。但是，有问题的文本不是 utf8（在这种情况下是 windows-1251，但在一般情况下，我不确定）。

但是，如果我使用 responseType="text"，它会将其视为字符串是 utf8，忽略内容类型中的字符集（导致一团糟）。

如果我使用了“blob”（可能是我想要的最接近的东西），我是否可以在考虑编码的情况下将其转换为 DomString？

Answer 1

实际上，我从这里找到了一个可以满足我需求的 API：

https://developers.google.com/web/updates/2014/08/Easier-ArrayBuffer-String-conversion-with-the-Encoding-API

基本上，使用responseType="arraybuffer"，从返回的标头中选择编码，然后使用DataView 和TextDecoder。它完全符合要求。

const xhr = new XMLHttpRequest();
xhr.responseType = "arraybuffer";
xhr.onload = function() {
  const contenttype = xhr.getResponseHeader("content-type");
  const charset = contenttype.substring(contenttype.indexOf("charset=") + 8);
  const dataView = new DataView(xhr.response);
  const decoder = new TextDecoder(charset);
  console.log(decoder.decode(dataView));
}
xhr.open("GET", "https://people.w3.org/mike/tests/windows-1251/test.txt");
xhr.send(null);

fetch("https://people.w3.org/mike/tests/windows-1251/test.txt")
  .then(response => {
    const contenttype = response.headers.get("content-type");
    const charset = contenttype.substring(contenttype.indexOf("charset=") + 8);
    response.arrayBuffer()
      .then(ab => {
        const dataView = new DataView(ab);
        const decoder = new TextDecoder(charset);
        console.log(decoder.decode(dataView));
      })
  })

Answer 2

如果我使用了“blob”（可能是我想要的最接近的东西），我是否可以在考虑编码的情况下将其转换为 DomString？

https://medium.com/programmers-developers/convert-blob-to-string-in-javascript-944c15ad7d52 概述了您可以使用的一般方法。将其应用于获取远程文档的情况：

• 创建一个FileReader 以将获取响应读取为Blob
• 使用FileReader.readAsText() 以正确的编码从Blob 获取文本

像这样：

const reader = new FileReader()
reader.addEventListener("loadend", function() {
  console.log(reader.result)
})
fetch("https://people.w3.org/mike/tests/windows-1251/test.txt")
  .then(response => response.blob())
  .then(blob => reader.readAsText(blob, "windows-1251"))

或者如果你真的想使用 XHR：

const reader = new FileReader()
reader.addEventListener("loadend", function() {
  console.log(reader.result)
})
const xhr = new XMLHttpRequest()
xhr.responseType = "blob"
xhr.onload = function() {
  reader.readAsText(xhr.response, "windows-1251")
}
xhr.open("GET", "https://people.w3.org/mike/tests/windows-1251/test.txt", true)
xhr.send(null)

但是，如果我使用responseType="text"，它会将其视为字符串为 utf8，而忽略内容类型中的字符集

是的。这就是required by the Fetch spec（这也是 XHR 规范所依赖的）：

实现Body mixin 的对象也有一个相关的包数据算法，给定 bytes，一个 type 和一个 mimeType，开启输入，然后运行相关步骤：
…
↪ 文字
返回在 bytes 上运行 UTF-8 decode 的结果。