如何使用 Puppeteer 节点 js 获取 querySelectorAll 的第二个元素并循环遍历其元素

Question

我试图抓取这个网站，他们的网站布局使用相同的类名来获取我需要的信息。我尝试使用 document.querySelectorAll() 但它返回未定义。

let shoeHtml = await page.evaluate( () => document.querySelectorAll('.form-section-right'))

如果我尝试let shoeHtml = await page.evaluate( () => document.querySelectorAll('.form-section-right')[1].innerHTML)，它会返回一个字符串，我无法通过它循环并获取我需要的信息

这是 html 代码。 https://pastebin.com/dHbbu5EG

我要获取的信息是a 标签。我也想点击它们。

Answer 1

evaluate 只返回可序列化的数据，页内对象不可序列化。您需要在 puppeteer 执行上下文中使用 evaluateHandle 或 page.$$，这相当于 querySelectorAll。

let shoeHtml = await page.$$('.form-section-right');

在 puppeteer 上下文中访问元素的属性：

const innerHTML = await page.evaluate(el => el.innerHTML, shoeHtml[1]);

或

const innerHTML = await (await shoeHtml[1].getProperty('innerHTML')).jsonValue();