node.js axios下载文件流和writeFile

Question

我想用axios 下载一个pdf 文件并用fs.writeFile 保存在磁盘（服务器端）上，我试过了：

axios.get('https://xxx/my.pdf', {responseType: 'blob'}).then(response => {
    fs.writeFile('/temp/my.pdf', response.data, (err) => {
        if (err) throw err;
        console.log('The file has been saved!');
    });
});

文件已保存，但内容已损坏...

如何正确保存文件？

Answer 1

实际上，我认为之前接受的答案有一些缺陷，因为它不能正确处理 writestream，所以如果你在 Axios 给你响应之后调用“then()”，你最终会得到一个部分下载的文件.

当下载稍大的文件时，这是一个更合适的解决方案：

export async function downloadFile(fileUrl: string, outputLocationPath: string) {
  const writer = createWriteStream(outputLocationPath);

  return Axios({
    method: 'get',
    url: fileUrl,
    responseType: 'stream',
  }).then(response => {

    //ensure that the user can call `then()` only when the file has
    //been downloaded entirely.

    return new Promise((resolve, reject) => {
      response.data.pipe(writer);
      let error = null;
      writer.on('error', err => {
        error = err;
        writer.close();
        reject(err);
      });
      writer.on('close', () => {
        if (!error) {
          resolve(true);
        }
        //no need to call the reject here, as it will have been called in the
        //'error' stream;
      });
    });
  });
}

这样，您可以调用downloadFile()，在返回的promise上调用then()，并确保下载的文件将完成处理。

或者，如果你使用更现代的 NodeJS 版本，你可以试试这个：

import * as stream from 'stream';
import { promisify } from 'util';

const finished = promisify(stream.finished);

export async function downloadFile(fileUrl: string, outputLocationPath: string): Promise<any> {
  const writer = createWriteStream(outputLocationPath);
  return Axios({
    method: 'get',
    url: fileUrl,
    responseType: 'stream',
  }).then(async response => {
    response.data.pipe(writer);
    return finished(writer); //this is a Promise
  });
}

Answer 2

您可以简单地使用response.data.pipe 和fs.createWriteStream 将响应通过管道传输到文件

axios({
    method: "get",
    url: "https://xxx/my.pdf",
    responseType: "stream"
}).then(function (response) {
    response.data.pipe(fs.createWriteStream("/temp/my.pdf"));
});

Answer 3

// This works perfectly well! 
const axios = require('axios'); 

axios.get('http://www.sclance.com/pngs/png-file-download/png_file_download_1057991.png', {responseType: "stream"} )  
.then(response => {  
// Saving file to working directory  
    response.data.pipe(fs.createWriteStream("todays_picture.png"));  
})  
    .catch(error => {  
    console.log(error);  
});  

Answer 4

文件损坏的问题是由于节点流中的背压。您可能会发现此链接对阅读很有用：https://nodejs.org/es/docs/guides/backpressuring-in-streams/

我不太喜欢在 JS 代码中使用 Promise 基声明性对象，因为我觉得它会污染实际的核心逻辑并使代码难以阅读。最重要的是，您必须提供事件处理程序和侦听器以确保代码完成。

下面给出了与公认答案提出的相同逻辑的更简洁的方法。它使用流管道的概念。

const util = require('util');
const stream = require('stream');
const pipeline = util.promisify(stream.pipeline);

const downloadFile = async () => {
  try {
    const request = axios.get('https://xxx/my.pdf', {
      responseType: 'stream',
    });
    await pipeline(request.data, fs.createWriteStream('/temp/my.pdf'));
    console.log('download pdf pipeline successful');   
  } catch (error) {
    console.error('download pdf pipeline failed', error);
  }
}

exports.downloadFile = downloadFile

我希望你觉得这很有用。

Answer 5

node fileSystem writeFile 默认将数据编码为 UTF8。这可能是您的问题。

尝试将您的编码设置为null 并跳过对接收​​到的数据进行编码：

fs.writeFile('/temp/my.pdf', response.data, {encoding: null}, (err) => {...}

如果您只声明编码而没有其他选项，您也可以将编码标记为字符串（而不是选项对象）。字符串将作为编码值处理。像这样：

fs.writeFile('/temp/my.pdf', response.data, 'null', (err) => {...}

更多阅读fileSystem API write_file

Answer 6

我试过了，我确信使用response.data.pipe和fs.createWriteStream可以工作。

---

另外，我想补充一下我的情况和解决方案

情况：

• 使用koa开发node.js服务器
• 使用axios通过url获取pdf
• 使用pdf-parse解析pdf
• 提取pdf的一些信息并以json的形式返回给浏览器

解决方案：

const Koa = require('koa');
const app = new Koa();
const axios = require('axios')
const fs = require("fs")
const pdf = require('pdf-parse');
const utils = require('./utils')

app.listen(process.env.PORT || 3000)

app.use(async (ctx, next) => {
      let url = 'https://path/name.pdf'
      let resp = await axios({
          url: encodeURI(url),
          responseType: 'arraybuffer'
        })

        let data = await pdf(resp.data)

        ctx.body = {
            phone: utils.getPhone(data.text),
            email: utils.getEmail(data.text),
        }
})

这种方案不需要写文件和读文件，效率更高。

Answer 7

以下来自https://gist.github.com/senthilmpro/072f5e69bdef4baffc8442c7e696f4eb?permalink_comment_id=3620639#gistcomment-3620639 的代码对我有用

const res = await axios.get(url, { responseType: 'arraybuffer' });
fs.writeFileSync(downloadDestination, res.data);

Answer 8

import download from "downloadjs";

export const downloadFile = async (fileName) => {
    axios({
        method: "get",
        url: `/api/v1/users/resume/${fileName}`,
        responseType: "blob",
    }).then(function (response) {
        download(response.data, fileName);
    });
};

这对我来说很好

Answer 9

这是我使用节点 js 运行的示例代码 有一个同步税错误

应该是 writeFile 而不是 WriteFile

const axios = require('axios');
const fs = require('fs');
axios.get('http://www.africau.edu/images/default/sample.pdf', {responseType: 'blob'}).then(response => {
  fs.writeFile('./my.pdf', response.data, (err) => {
        if (err) throw err;
        console.log('The file has been saved!');
    });
});

文件保存后可能看起来像在文本编辑器中，但文件已正确保存

%PDF-1.3
%����

1 0 obj
<<
/Type /Catalog
/Outlines 2 0 R
/Pages 3 0 R
>>
endobj

2 0 obj
<<
/Type /Outlines
/Count 0
>>
endobj

3 0 obj
<<
/Type /Pages
/Count 2
/Kids [ 4 0 R 6 0 R ] 
>>
endobj