用 puppeteer 刮亚马逊

Question

我目前正在处理一些个人项目，我只是想进行一些亚马逊抓取，以便获取产品详细信息，例如名称和价格。

我发现使用相同 id 的产品名称和价格最一致的视图是移动视图，这就是我使用它的原因。

问题是我无法得到价格。

我已经对价格中的名称（有效）进行了完全相同的查询选择器，但没有成功。

const puppeteer = require('puppeteer');

const url = 'https://www.amazon.com/dp/B01MUAGZ49';

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  await page.setViewport({ width: 360, height: 640 });
  await page.goto(url);

  let producData = await page.evaluate(() => {
    let productDetails = [];

    let elements = document.querySelectorAll('#a-page');

    elements.forEach(element => {
      let detailsJson = {};

      try {
        detailsJson.name = element.querySelector('h1#title').innerText;
        detailsJson.price = element.querySelector('#newBuyBoxPrice').innerText;
      } catch (exception) {}

      productDetails.push(detailsJson);
    });

    return productDetails;
  });

  console.dir(producData);
})();

我应该在 console.dir 中获得名称和价格，但现在我只能获得

[ { name: 'Nintendo Switch – Neon Red and Neon Blue Joy-Con ' } ]

Answer 1

仅设置视口高度和重量不足以完全模拟移动浏览器。现在该页面假定您只有一个非常小的浏览器窗口。

模拟移动设备的最简单方法是使用函数page.emulate 和默认的DeviceDesriptors，其中包含有关大量移动设备的信息。

引用 page.emulate 的文档：

模拟给定的设备指标和用户代理。该方法是调用两个方法的快捷方式：

• page.setUserAgent(userAgent)
• page.setViewport(viewport)

为了帮助模拟，puppeteer 提供了一个设备描述符列表，可以通过require('puppeteer/DeviceDescriptors') 命令获得。 [...]

---

示例

这是一个如何在访问页面时模拟 iPhone 的示例。

const puppeteer = require('puppeteer');
const devices = require('puppeteer/DeviceDescriptors');
const iPhone = devices['iPhone 6'];

const url = '...';

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.emulate(iPhone);
  await page.goto(url);

  // Simlified page.evaluate
  let producData = await page.evaluate(() => ({
    name: document.querySelector('#a-page h1#title').innerText,
    price: document.querySelector('#a-page #newBuyBoxPrice').innerText
  }));

  console.dir(producData);
})();

我还稍微简化了您的page.evaluate，但您当然也可以在page.goto 之后使用您的原始代码。这为我返回了产品的名称和价格。