从 csv url 列表下载大量 pdf 文件

Question

我有一个 csv 文件，其中包含 95k 个 url 链接，这些链接都是 pdf 文件。 我使用 selenium 首先登录页面，然后循环文件以触发下载到我的文件中。

这是我的简单代码

download_dir=r"C:\Users\Me\Downloads\pdfs"
    
chrome_options = Options()
chrome_options.add_experimental_option('prefs',  {
    "download.default_directory": download_dir,
    "download.prompt_for_download": False,
    "download.directory_upgrade": True,
    "plugins.always_open_pdf_externally": True
    }
)

driver = webdriver.Chrome(executable_path=r"C:\Users\Me\Downloads\chromedriver_win32\chromedriver.exe",options = chrome_options)                     
driver.get('https://url.com/')

username = driver.find_element_by_id("email")
password = driver.find_element_by_id("password")

username.send_keys("email@domain.com")
password.send_keys("password")
driver.find_element_by_name("Login_Button").click()

driver.find_element_by_name("company").click()
driver.find_element_by_name("Continue_Button").click()

with open(r'C:\Users\Me\Documents\csvTest.csv', newline='', encoding='utf-8-sig') as csvfile:
    csv_reader = csv.reader(csvfile)
    
    for row in csv_reader:
        pdfUrl = row[0]
        driver.get(pdfUrl)

目前它正在一个一个地执行大约每小时 1500 个文件。我阅读了有关多处理的信息，但我不熟悉如何实现它，而且鉴于正在启动的单个驱动程序，我不确定是否可以在这里进行。有没有办法通过 n 个文件批量触发下载？而不是一一下载。

Answer 1

大多数时候selenium 是下载文件时的过度杀伤力，尽管有时它是唯一有效的方法。

对我来说最好使用的是requests 和multiprocessing。为此，请创建一个函数来下载给定 url 的文件（如果需要，还可以下载目标文件）：

import requests
import time

def downloader(url):

    filename = url.split('/')[-1]

    if not os.path.exists(filename):
        print('File already exists')
        return

    for _ in range(5):
        try:
            r = requests.get(url, stream=True)
            break
       except:
           time.sleep(5)
    else:
        print ('Could not fetch file')
        return

    if r.status_code == 200:
            with open(filename, 'wb') as f:
                for chunk in r:
                    f.write(chunk)

    return filename

然后创建线程并使用 url 列表映射该函数：

from multiprocessing.pool import ThreadPool
n = 10 #Number of threads

results = ThreadPool(n).imap_unordered(downloader, urls)
for file in results:
    print(file)

我相信这个过程可以大大加快速度。您可以通过谷歌搜索“python 并行下载文件”找到更多信息。

Answer 2

您可能想看看线程，但您必须在多个函数上转换脚本（https://docs.python.org/3/library/threading.html、https://realpython.com/intro-to-python-threading/）

关于实现它，我认为您可以启动一个线程，仅用于在不同选项卡中打开 url 和其他线程以下载信息，关闭选项卡并转到下一个。 这样，我认为脚本可以更快地执行，您还可以使用以下方法禁用 chrome GUI 以增加一些额外的性能：

options.add_argument('--headless')
options.add_argument("--disable-gpu")