有没有办法绕过使用 Puppeteer 的爬虫的 perimeterx 检测？答案

【问题标题】：is there a way to bypass perimeterx detection for crawlers using Puppeteer?有没有办法绕过使用 Puppeteer 的爬虫的 perimeterx 检测？
【发布时间】：2020-05-27 22:20:02
【问题描述】：

我正在使用相同结果的简单示例。

const puppeteer = require('puppeteer');

(async () => {
  // Launch the browser in headless mode and set up a page.
  const browser = await puppeteer.launch({
    args: ['--no-sandbox', '--incognito'],
    headless: false
  })

  const page = await browser.newPage();
  const testUrl =
    'https://www.goat.com/'
  await page.goto(testUrl)

  // Save a screenshot of the results.
  const screenshotPath = 'headless-test-result.png'
  await page.screenshot({
    path: screenshotPath
  })
  console.log('have a look at the screenshot:', screenshotPath)

  //await browser.close()
})()

This is the detection error i get

我如何绕过这一点，让网站不会认为我是机器人或抓取网站？

【问题讨论】：

您可以尝试使用 chrome 代替 chromium，或者至少更改您的用户代理。
我试过了，但是如果检测到 perimeterx 有另一种方法
例如，您始终可以使用 2captcha.com 解决验证码...抱歉，我无法从您在此处显示的内容中诊断出他们对 puppeteer 请求的不满意之处。除非您可以显示网址，否则您不可能获得更多帮助。

标签： web-crawler puppeteer

【解决方案1】：

尝试使用此存储库进行澄清并开发您自己的解决方案

npm plugin-stealth

【讨论】：