使用python从多个不同的网址中提取Xpath到excel文件

Question

我正在尝试加快 python 代码将超市网站的 Xpath（商店营业时间和营业时间）提取到 excel 文件。我使用的代码有效，但是它需要添加额外的代码行，包括新的网址和行标识符。

我有一个包含所有需要访问的网址的文本文件，并且到目前为止，每个网址的 Xpath 都是相同的。 python可以读取任意网址的文件列表提取Xpath（存储时间）并输出到excel文件而不用写很多行代码吗？

import selenium 
from selenium import webdriver
import pandas as pd
import time

def s1():
    driver = webdriver.Chrome('C:/Users/Me/Documents/PY/chromedriver.exe')
    driver.get("https://local.albertsons.com/mt/belgrade/6999-jackrabbit- 
    ln.html")
    time.sleep(2)
    a = driver.find_element_by_xpath('//* 
    [@id="mainStoreHours"]/div/table/tbody/tr[1]/td[2]/span/span[1]').text
    b = driver.find_element_by_xpath('//* 
    [@id="mainStoreHours"]/div/table/tbody/tr[1]/td[2]/span/span[3]').text
    time.sleep(1)
    df = pd.DataFrame({'Open Time' :a, 'Close Time' :b}, index=[9])
    driver.close()
    driver = webdriver.Chrome('C:/Users/Me/Documents/PY/chromedriver.exe')
    driver.get("https://local.albertsons.com/mt/bozeman/200-s-23rd-ave.html")
    time.sleep(2)
    c = driver.find_element_by_xpath('//* 
    [@id="mainStoreHours"]/div/table/tbody/tr[1]/td[2]/span/span[1]').text
    d = driver.find_element_by_xpath('//* 
    [@id="mainStoreHours"]/div/table/tbody/tr[1]/td[2]/span/span[3]').text
    time.sleep(1)
    df1 = pd.DataFrame({'Open Time' :c, 'Close Time' :d}, index=[6])
    driver.close()
    df_all = pd.concat([df, df1])
    df_all.to_excel('Storehours.xlsx')

Answer 1

试试看：

import csv
import time

from selenium import webdriver


def make_action(url, b1, b2):
    driver.get(url)
    time.sleep(1)
    a = driver.find_element_by_xpath(b1).text
    b = driver.find_element_by_xpath(b2).text
    return url, a, b

driver = webdriver.Chrome()
with open('file_pages.txt', newline='\n') as csvfile, open('new_file.csv', 'w+', newline='\n') as new_f:
    spamreader = csv.reader(csvfile, delimiter=',', quotechar='|')
    next(spamreader)
    file = csv.writer(new_f, delimiter=',')
    for row in spamreader:
        file.writerow(make_action(*row))

driver.quit()

file_pages.txt 文件应如下所示：

url,b1,b2
https://local.albertsons.com/mt/belgrade/6999-jackrabbit-ln.html,//*[@id="mainStoreHours"]/div/table/tbody/tr[1]/td[2]/span/span[1],//span[@class='c-hours-details-row-intervals-instance-close'][1]
https://local.albertsons.com/mt/belgrade/6999-jackrabbit-ln.html,//*[@id="mainStoreHours"]/div/table/tbody/tr[1]/td[2]/span/span[1],//span[@class='c-hours-details-row-intervals-instance-close'][1]

其中 url 是 url，b1 - 按钮或元素 1，b2 - 按钮或元素 2

顺便说一句，我的建议是使用 webdriver-manager 包：

pip install webdriver-manager

代码看起来像这样，但你不必再担心 chromedriver 它会在没有你的情况下下载和替换，真的很方便：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())