无法使用 bs4、python、selenium 抓取细节

Question

我正在使用下面的代码来打印只是页面源代码的汤变量。

代码

from urllib.request import urlopen
from bs4 import BeautifulSoup
import json, requests, re, sys
from selenium import webdriver
import re, time


yes_url = "https://www.yesbank.in/personal-banking/yes-first/cards/credit-card/yes-first-exclusive-credit-card"

driver = webdriver.Chrome(executable_path="C:\\Users\\Hari\\Downloads\\chromedriver.exe")
driver.get(yes_url)
time.sleep(3)

# r = requests.get(yes_url)


soup = BeautifulSoup(driver.page_source, 'lxml')
print(soup)


driver.close()

我正在抓取页面来源的链接是：https://www.yesbank.in/personal-banking/yes-first/cards/credit-card/yes-first-exclusive-credit-card

运行上述代码后，代码一直运行到几个小时，但我没有得到输出。

请帮助我抓取页面源代码，以便在我运行代码后得到一些输出。

Answer 1

问题：您正在处理一个现代网站，该网站检查浏览器本身是否受到控制或没有使用健壮。

如何做到这一点？

只需打开浏览器控制台，然后输入以下内容：

navigator.webdriver

如果是false，那么您的浏览器就不会被任何强大的程序控制，例如selenium。

如果是true，那么它是受控的。

在您的情况下，您必须禁用它以欺骗网站检查机制。

您可以在下面实现您的目标：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup

options = Options()
options.headless = True
options.set_preference("dom.webdriver.enabled", False)
driver = webdriver.Firefox(options=options)
driver.get('https://www.yesbank.in/personal-banking/yes-first/cards/credit-card/yes-first-exclusive-credit-card')


try:
    element = WebDriverWait(driver, 10).until(
        EC.title_contains('YES'))
    soup = BeautifulSoup(driver.page_source, 'lxml')
    print(soup.prettify())
finally:
    driver.quit()