如何使用 Selenium 从动态网站中抓取数据

Question

我是 selenium 新手，想从 Udemy 课程链接刮价格和提供结束时间。我该怎么做？

价格和课程结束时间会动态加载到网站。我知道如何从网站中提取简单内容，但不知道动态内容。

我已尝试使用 Parsel 库 + Seleminium 库，但返回空字符串。因为当我在我的手机中查看网站的源代码时，源代码中没有显示价格。但是当我点击 chrome 或 firefox 的检查元素选项时。价格在跨度标签内提供。意味着当页面在浏览器上呈现时，价格是动态加载的。我如何在 Selenium 中做到这一点？

这是一个示例 Udemy 课程链接：

https://www.udemy.com/course/data-science-deep-learning-in-python/

Answer 1

在您的环境中已安装所有依赖项后，此代码应该可以工作：

    from selenium import webdriver
    from bs4 import BeautifulSoup
    from webdriver_manager.chrome import ChromeDriverManager

    driver = webdriver.Chrome(ChromeDriverManager().install())
    driver.get("https://www.udemy.com/course/appium-selenium-for-mobile-automation-testing/")

    content = driver.page_source

    soup = BeautifulSoup(content, 'html.parser')

    price = soup.find('div', {'class':'price-text--price-part--Tu6MH udlite-clp-discount-price udlite-heading-xl'})
    if price is not None:
        price.text.strip()
        price = price.replace('Current price','')
        print('Price: ' + price)
        
        offerEndTime = soup.find('span', {'data-purpose':'safely-set-inner-html:discount-expiration:expiration-text'}).text.strip()
        print('Offer end time: ' +  offerEndTime)
    else:
        print('This is a free course')