如何使用 puppeteer 在网页上查找所有资产？

【问题标题】：How to find all assets on a webpage using puppeteer?如何使用 puppeteer 在网页上查找所有资产？
【发布时间】：2018-04-07 00:52:54
【问题描述】：

我想使用 puppeteer 搜索页面并返回所有可用资源，包括图像、pdf、任何可嵌入的内容等。

为了我们的目的，让我们简单地使用图像。 img 标签有一个 src 属性，但是通过 CSS 规则加载的图像呢？有没有办法查看加载的资产总数？

【问题讨论】：

标签： javascript node.js express web-scraping puppeteer

【解决方案1】：

一种方法是listen on the eventrequestfinished

const browser = await puppeteer.launch();
const page = await browser.newPage();

page.on('requestfinished', (request) => {
    console.log(request.url())
});

await page.goto('http://www.wildesoft.net/');
await page.waitFor(5000);

await browser.close();

这会将收到的所有资源记录到控制台，例如

【讨论】：