在获取请求中提供授权时，在需要授权的nodeJS中抓取网站？

Question

我在 nodejs 中抓取一个网站以从中获取信息（使用 http 解析）。 该网站需要基本的身份验证用户名和密码才能登录。 我必须编写一个 API 来对该网站进行网络抓取。我将在邮递员中提供基本的身份验证 - 用户名和密码，并将仅从邮递员触发我的 API。

我不想在我的代码中硬编码用户名和密码。我将仅从邮递员请求中获取凭据。

那么在编写 API 时如何解决这个问题？ 我将如何使用邮递员中提供的用户名和密码？

Answer 1

使用 NodeJS，您可以将用户 ID 和密码作为标题传递：

var request = require('request'),
    username = "john",
    password = "1234",
    url = "http://www.example.com",
    auth = "Basic " + new Buffer(username + ":" + password).toString("base64");

request(
{
    url : url,
    headers : {
        "Authorization" : auth
    }
},
    function (error, response, body) {
        // Do scraping here
    }
);

如果抓取很复杂或有交互式登录屏幕，我会考虑 puppeteer，这是处理这类东西的一个很好的框架。