HTML 未提取 NODEJS

Question

我想使用 nodejs 和 puppeteer

抓取 Twitter 推文

我不想创建开发者帐户等

以下代码在抓取代码中返回 null。但是当我在 twitter 网站上编写这段代码时，它给了我 HTML

var  html = document.querySelector('main nav').nextElementSibling;

代码

'use strict';
const puppeteer = require('puppeteer');

function run() {
return new Promise(async (resolve, reject) => {
        try {

        const browser = await puppeteer.launch({
        headless : false
        });

        const page = await browser.newPage();
        await page.setRequestInterception(true);

        // add header for the navigation requests
        page.on('request', request => {

            // Do nothing in case of non-navigation requests.
            if (!request.isNavigationRequest()) {
                request.continue();
                return;
            }

            // Add a new header for navigation request.
            const headers = request.headers();
            // headers['proxy'] = super_proxy;
            request.continue({ headers });
        });


        await page.goto("https://www.twitter.com/Udemy");

        await page.evaluate(`window.scrollTo(0, document.body.scrollHeight)`);
        await page.waitFor(5000);


        await page.waitFor('main nav');
        let urls = await page.evaluate(() => {
            let results = [];

            var parser = new DOMParser();
            var  html = document.querySelector('main nav').nextElementSibling;
            var $     = parser.parseFromString(html, 'text/html');
            var html  = document.querySelector('section > div > div > div');

            //Error return empty HTML --------------------- <<<<<<<<<<<<<
            return html;
        })
        browser.close();
        return resolve(urls);
    } catch (e) {
        return reject(e);
    }
})
}
run().then(console.log).catch(console.error);

我想要的结果

Answer 1

来自docs：

如果传递给 page.evaluate 的函数返回一个不可序列化的值，则 page.evaluate 解析为 undefined。

和here

page.evaluate 和 page.evaluateHandle 的唯一区别是 page.evaluateHandle 返回页内对象 (JSHandle)。

将page.evaluate 替换为page.evaluateHandle：

let urls = await page.evaluateHandle(() => { ... return html })