在（浏览器）javascript中读取大型CSV文件的标题（仅）

Question

我正在尝试使用 Javascript 读取存储在 AWS S3 上的大文件的 CSV 标头。我想知道是否有一种方法可以只读取标题而不读取整个文件。

我尝试过使用 d3.csv 和 http.get，但它们都加载了整个文件。有什么建议吗？

Answer 1

我相信您可以在标头请求中使用范围字节来读取部分文件

S3 Docs 范围：字节=0-12000

EDITED 工作示例。

fetch("https://s3.amazonaws.com/aml-sample-data/banking.csv", {
   headers: {
    'content-type': 'multipart/byteranges',
    'range': 'bytes=0-512'
   },
  })
.then(response => {
    var reader = response.body.getReader().read().then(data => {
  var binArray = data.value;
  var str = "";
  for (var i = 0; i < binArray.length; i++) {
    str += String.fromCharCode(parseInt(binArray[i]));
  }

   var result = str.search(/\n/);
   if (result > -1) {
   var header = str.substring(0, result);
   console.log('found' , header);

     return response.text();

  } else {
return response.text();
  }

    });

})
.then(response => {
    var result = response.search(/\n/);
    if (result > -1) {
  var header = response.substring(0, result);
  console.log('from last request', header);
    }
});   

测试时不要忘记在 Chrome 浏览器中关闭 cors 检查

chrome.exe  --disable-site-isolation-trials --disable-web-security --user- 
data-dir="D:\temp"