如何使用python从javascript网站上抓取数据答案

【问题标题】：how to scrape data from javascript website using python如何使用python从javascript网站上抓取数据
【发布时间】：2020-10-29 08:13:10
【问题描述】：

我无法从网站上抓取数据我有一个 URL 链接 https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be 当我打开此链接时，有很多工作列表显示当我滚动页面时它会自动加载更多工作列表当我检查页面时只有 JavaScript 显示，我需要提取以下数据工作位置、工作描述、工作 URL ，全职或兼职，json格式的最低资格我不知道如何在下面我的代码中做到这一点

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from datetime import datetime
startTime = datetime.now()
import time
print('startTime',startTime)
driver = webdriver.Chrome('C:\\Users\\arif khan\\Downloads\\chromedriver.exe')
driver.get('https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be')

【问题讨论】：

你的代码真的什么都不做，只是打开了网站
我不明白接下来我能做什么请做点什么
从我看到的你将不得不访问选项？在title= 之类的标签中
但是当我检查页面时我找不到元素
我可以，但无论如何我看到你必须访问元素的选项，如 title= 如果你不能用 selenium 访问它们，可能是它们前面有一个元素隐藏了下面的元素，我认为有人对此有疑问

标签： python json selenium web-scraping selenium-chromedriver

【解决方案1】：

你必须从 div 中提取它：

jobs = driver.find_elements_by_xpath("//div[@class='WNOO WBOO']/ul/li")
for job in jobs:
    print(job)

在网站上，右键单击并使用“检查元素”查看任何特定元素的代码。例如，如果您右键单击文本“财务经理”，然后单击“检查元素”，它将显示它的代码。

【讨论】：