启动 My Scraper 后，我没有得到输出

Question

我正在运行一个抓取工具来检索产品名称、货号、尺寸和价格，但是当我运行脚本时它没有给我输出或错误消息。我正在为此使用 Jupyter Notebook，但不确定这是否是问题所在。我也不确定是否因为我将其输入到 CSV 文件中，如果这也给它带来了问题。任何帮助将不胜感激。

这是我正在运行的代码。

from selenium import webdriver
import csv, os
from bs4 import BeautifulSoup

os.chdir(r'C:\Users\kevin.cragin\AppData\Local\pip\Cache\wheels\09\14\7d\1dcfcf0fa23dbb52fc459e5ce620000e7dca7aebd9300228fe') 
driver = webdriver.Chrome()
driver.get('https://www.biolegend.com/en-us/advanced-search?GroupID=&PageNum=1')
html = driver.page_source

containers = html.find_all('li', {'class': 'row list'})

with open("BioLegend_Crawl.csv", "w") as f:

    f.write("Product_name, CatNo, Size, Price\n")

    for container in containers:

        product_name = container.find('a',{'itemprop':'name'}).text
        info = container.find_all('div',{'class':'col-xs-2 noPadding'})
        catNo = info[0].text.strip()
        size = info[1].text.strip()
        price = info[2].text.strip()

        print('Product_name: '+ product_name)
        print('CatNo: ' + catNo)
        print('Size: ' + size)
        print('Price: ' + price + '\n')

        f.write(','.join([product_name,catNo,size,price]))

Answer 1

您使用的网站在技术上是从数据库中加载信息，因此默认情况下加载的产品名称并未在网站 HTML 中预设。它们必须根据搜索约束动态加载。

因此，您需要下载 chromedriver.exe（如果您使用 Google Chrome）或其他一些可自动执行 Web 浏览器的驱动程序（PhantomJS 是另一个不错的驱动程序），然后您需要在您的机器上指定路径位置到哪里这个 .exe 像这样存在：

import selenium import webdriver
import csv, os
from bs4 import BeautifulSoup

os.chdir('Path to chromedriver or other driver') 
driver = webdriver.Chrome()
driver.get('Link to your webpage you want to extract HTML from')
html = driver.page_source
soup = BeautifulSoup(html)

containers = soup.find_all('ul',{'id':'productsHolder'})

with open("BioLegend_Crawl.csv", "w") as f:

    f.write("Product_name, CatNo, Size, Price\n")

    for container in containers:

        product_name = container.find('a',{'itemprop':'name'}).text
        info = container.find_all('div',{'class':'col-xs-2 noPadding'})
        catNo = info[0].text.strip()
        size = info[1].text.strip()
        price = info[2].text.strip()

        print('Product_name: '+ product_name)
        print('CatNo: ' + catNo)
        print('Size: ' + size)
        print('Price: ' + price + '\n')

        f.write(','.join([product_name,catNo,size,price]))