puppeteer 当使用 headless false

Question

我有一个解析特定网页的脚本。 当我设置 headless false 时，puppeteer 不会加载页面

 await page.goto('https://www.google.com', {
            waitUntil: 'load',
            // Remove the timeout
            timeout: 0
        });

我尝试了很多配置，例如：

 const args = [
        '--no-sandbox',
        '--enable-logging',
        ' --v=1',
        '--disable-gpu',
        '--disable-extension',
        '--disable-setuid-sandbox',
        '--disable-infobars',
        '--window-position=0,0',
        '--ignore-certifcate-errors',
        '--ignore-certifcate-errors-spki-list',
        '--user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3312.0 Safari/537.36"'
    ];



    const options = {
        args,
        headless: false, // default is true
        userDataDir: "./user_data",
        defaultViewport: null,
        devtools: true,
        ignoreHTTPSErrors: true,
    };

但脚本会停止到await page.goto，直到超时。

Answer 1

据我了解，您解析的不是google.com 页面。 首先应该考虑的是waitUntil: 'load'。它做了什么，当加载事件被触发时，它认为导航已经完成。

当整个网页 (HTML) 完全加载时触发 load 事件，包括所有依赖资源，例如 JavaScript 文件、CSS 文件和图像。

这个事件很有可能在你的情况下没有触发合理的超时，所以我建议不要依赖这个waitUntil，而是使用另一个等待，比如某些选择器的存在，例如

await page.goto('https://www.google.com');
await page.waitForSelector('[name="q"]');