Selenium 抓取淘宝商品美食信息

　　在使用python进行数据爬取的时候，我们发现ajax请求比较繁琐，那么有什么好的办法可以解决呢？就是使用selenium自动化工具，模拟输入点击，这样我们就可以不需要知道ajax的请求链接，从而可以直接通过类似人工的操作来模拟，从而可以获取网页数据。我们来举个例子。

　　淘宝的首页，我们打开发现没有商品数据的信息，而他的数据都是通过ajax请求获取的，那么我们使用ajax请求这种方法来获取数据简单吗？我们来看看。

　　我们在淘宝首页输入美食，进入美食界面我们发现他的链接：https://s.taobao.com/search?q=%E7%BE%8E%E9%A3%9F&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306    这么长，他的参数这么多，我们都需要一一来给他赋值，下面就是所有的参数的名称还有信息，而且有的参数我们根本不知道到底是什么意思。所以就很麻烦，我们就使用selenium工具来自动化输入。

　　首先我们需要加载淘宝界面：

browser = webdriver.Chrome()
wait=WebDriverWait(browser,10)
client=pymongo.MongoClient(MONGO_URL)
db=client[MONGO_DB]
browser.set_window_size(1400,900)

def serach():
    try:
        browser.get(\'https://www.taobao.com\')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,\'#q\'))
        )#通过css 选择器找到淘宝主页的输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, \'#J_TSearchForm > div.search-button > button\'))
        )#通过css 选择器找到淘宝主页的搜索按钮
        input.send_keys(\'美食\')#向输入框中输入美食
        submit.click()#点击搜索按钮
        total = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, \'#mainsrp-pager > div > div > div > div.total\'))
        )#找到美食界面中所有的页数
        get_product()
        return total.text#返回总页数
    except TimeoutException:
        return serach()#如果没有成功则重新请求

 　　请求成功后，我们需要来解析网页中商品的信息：

def get_product():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,\'#mainsrp-itemlist .items .item\')))#加载找到的本页中所有的商品
    html=browser.page_source
    doc=pq(html)
    items = doc(\'#mainsrp-itemlist .items .item\').items()#找到本页中商品的列表
    for item in items:
        product = {
            \'image\':item.find(\'.pic .img\').attr(\'src\'),#获取class为pic下的class为.img的src属性，也就是图片链接
            \'price\':item.find(\'.price\').text(),#获取class为priced的文本，也就是价格
            \'deal\':item.find(\'.deal-cnt\').text()[:-3],#获取class为deal-cnt的文本的倒数第三个之前的文本，也就是成交量（多少人付款）
            \'title\':item.find(\'.title\').text(),#获取商品的名称
            \'shop\':item.find(\'.shop\').text(),#获取商品的店铺名称
            \'location\':item.find(\'.location\').text()#获取商品的产地
        }
        save_mongodb(product)

　　现在我们只获取了一页的内容，我们需要获取全部的内容，有两种办法：

　　第一种：selenium自动点击下一页，但是该方法的缺点就是，如果改页没有加载成功，我们就爬取不到改页的内容，无法判断是否爬取了这页

　　第二种：循环，自动输入需要跳转的下一页的页码，通过判断输入的内容和当前页码是否一致判断是否成功加载了本页，我们采用第二种方法。

def next_page(current_page):
    try:
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, \'#mainsrp-pager > div > div > div > div.form > input\'))
        )#获取输入下一页的页码的输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, \'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit\'))
        )#获取确定按钮
        input.clear()#先清空输入框的内容
        input.send_keys(current_page)#在输入框中输入请求的页码
        submit.click()#点击确定
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,\'#mainsrp-pager > div > div > div > ul > li.item.active > span\'),str(current_page)))
        # 判断请求的页码是否等于当前页，如果等于说明加载成功
        get_product()
    except TimeoutException:
        return next_page(current_page)# 如果失败则重新加载本页

 

 

 

 

 

然后我们还可以将数据保存在mongdb中，下面是全部代码：

import re

import pymongo
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *

browser = webdriver.Chrome()
wait=WebDriverWait(browser,10)
client=pymongo.MongoClient(MONGO_URL)
db=client[MONGO_DB]
browser.set_window_size(1400,900)

def serach():
    try:
        browser.get(\'https://www.taobao.com\')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,\'#q\'))
        )#通过css 选择器找到淘宝主页的输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, \'#J_TSearchForm > div.search-button > button\'))
        )#通过css 选择器找到淘宝主页的搜索按钮
        input.send_keys(\'美食\')#向输入框中输入美食
        submit.click()#点击搜索按钮
        total = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, \'#mainsrp-pager > div > div > div > div.total\'))
        )#找到美食界面中所有的页数
        get_product()
        return total.text#返回总页数
    except TimeoutException:
        return serach()#如果没有成功则重新请求

def next_page(current_page):
    try:
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, \'#mainsrp-pager > div > div > div > div.form > input\'))
        )
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, \'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit\'))
        )
        input.clear()
        input.send_keys(current_page)
        submit.click()
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,\'#mainsrp-pager > div > div > div > ul > li.item.active > span\'),str(current_page)))
        get_product()
    except TimeoutException:
        return next_page(current_page)
def get_product():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,\'#mainsrp-itemlist .items .item\')))#加载找到的本页中所有的商品
    html=browser.page_source
    doc=pq(html)
    items = doc(\'#mainsrp-itemlist .items .item\').items()#找到本页中商品的列表
    for item in items:
        product = {
            \'image\':item.find(\'.pic .img\').attr(\'src\'),#获取class为pic下的class为.img的src属性，也就是图片链接
            \'price\':item.find(\'.price\').text(),#获取class为priced的文本，也就是价格
            \'deal\':item.find(\'.deal-cnt\').text()[:-3],#获取class为deal-cnt的文本的倒数第三个之前的文本，也就是成交量（多少人付款）
            \'title\':item.find(\'.title\').text(),#获取商品的名称
            \'shop\':item.find(\'.shop\').text(),#获取商品的店铺名称
            \'location\':item.find(\'.location\').text()#获取商品的产地
        }
        save_mongodb(product)

def save_mongodb(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print(\'保存到MongoDb成功！\',result)
    except Exception:
        print(\'存储失败!\')

def main():
    try:
        total=serach()
        total=int(re.compile(\'(\d+)\').search(total).group(1))
        for i in range(2,10):
            next_page(i)
    except Exception:
        print(\'出错了\')
    finally:
        browser.close()

if __name__ == \'__main__\':
    main()

新建config.py文件：

MONGO_URL=\'localhost\'
MONGO_DB=\'taobao\'
MONGO_TABLE=\'meishi\'

下面就是在MongoDB中的商品信息了。