如何选择特定区域并从网站上抓取所有工作

Question

我正在尝试通过选择一个特定的国家/地区从一个招聘门户网站抓取所有招聘信息。

很抱歉贴了一张图片，但目的是向您展示页面的外观。

我尝试了什么：

以下是我尝试过的，但我没有得到任何东西刚开始学习网络抓取..

import requests
from bs4 import BeautifulSoup


job_url = 'https://wd3.myworkdayjobs.com/careers/'
out_req = requests.get(job_url)
soup = BeautifulSoup(out_req.text, 'html.parser')
print(soup)
urls = []
for link in soup.find_all('a'):
   print(link.get('href'))

任何帮助将不胜感激。

Answer 1

尝试 selenium 库，基于属性搜索 & 搜索结果后 scrape 使用美丽的汤。

from selenium import webdriver
#browser exposes an executable file
#Through Selenium test we will invoke the executable file which will then #invoke actual browser
driver = webdriver.Chrome(executable_path="C:\\chromedriver.exe")
# to maximize the browser window
driver.maximize_window()
#get method to launch the URL
driver.get("Website")
#to refresh the browser
driver.refresh()
# identifying the checkboxes with type attribute in a list
chk =driver.find_elements_by_xpath("//input[@type='checkbox']")
# len method is used to get the size of that list
print(len(chk))
# get_attribute method is get the value attribute
for i in chk:
if i.get_attribute("value") == "United states of America":
i.click()
#to close the browser
driver.close()
#############################
#Beautiful soup code here
#############################