Python网页信息采集：使用PhantomJS采集淘宝天猫商品内容
1，引言
最近一直在看Scrapy 爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。
本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载js的动态网页内容。看了很多介绍DOWNLOADER_MIDDLEWARES资料，总结来说就是使用简单，但会阻塞框架，所以性能方面不佳。一些资料中提到了自定义DOWNLOADER_HANDLER或使用scrapyjs可以解决阻塞框架的问题，有兴趣的小伙伴可以去研究一下，这里就不多说了。
2，具体实现
2.1，环境需求
需要执行以下步骤，准备Python开发和运行环境：
- Python--官网下载安装并部署好环境变量 （本文使用Python版本为3.5.1）
- lxml-- 官网库下载对应版本的.whl文件，然后命令行界面执行 "pip install .whl文件路径"
- Scrapy--命令行界面执行 "pip install Scrapy"，详细请参考《Scrapy的第一次运行测试》
- selenium--命令行界面执行 "pip install selenium"
- PhantomJS -- 官网下载
上述步骤展示了两种安装：1，安装下载到本地的wheel包；2，用Python安装管理器执行远程下载和安装。注：包的版本需要和python版本配套
2.2，开发和测试过程
首先找到需要采集的网页，这里简单找了一个天猫商品，网址https://world.tmall.com/item/526449276263.htm， 页面如下：
然后开始编写代码，以下代码默认都是在命令行界面执行
1)，创建scrapy爬虫项目tmSpider
E:\python-3.5.1>scrapy startproject tmSpider
2)，修改settings.py配置
- 更改ROBOTSTXT_OBEY的值为False；
- 关闭scrapy默认的下载器中间件；
- 加入自定义DOWNLOADER_MIDDLEWARES。
配置如下：
DOWNLOADER_MIDDLEWARES = { \'tmSpider.middlewares.middleware.CustomMiddlewares\': 543, \'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware\': None }
3)，在项目目录下创建middlewares文件夹,然后在文件夹下创建middleware.py文件，代码如下：
# -*- coding: utf-8 -*- from scrapy.exceptions import IgnoreRequest from scrapy.http import HtmlResponse, Response import tmSpider.middlewares.downloader as downloader class CustomMiddlewares(object): def process_request(self, request, spider): url = str(request.url) dl = downloader.CustomDownloader() content = dl.VisitPersonPage(url) return HtmlResponse(url, status = 200, body = content) def process_response(self, request, response, spider): if len(response.body) == 100: return IgnoreRequest("body length == 100") else: return response
4)，使用selenium和PhantomJS写一个网页内容下载器，同样在上一步创建好的middlewares文件夹中创建downloader.py文件，代码如下：
# -*- coding: utf-8 -*- import time from scrapy.exceptions import IgnoreRequest from scrapy.http import HtmlResponse, Response from selenium import webdriver import selenium.webdriver.support.ui as ui class CustomDownloader(object): def __init__(self): # use any browser you wish cap = webdriver.DesiredCapabilities.PHANTOMJS cap["phantomjs.page.settings.resourceTimeout"] = 1000 cap["phantomjs.page.settings.loadImages"] = True cap["phantomjs.page.settings.disk-cache"] = True cap["phantomjs.page.customHeaders.Cookie"] = \'SINAGLOBAL=3955422793326.2764.1451802953297; \' self.driver = webdriver.PhantomJS(executable_path=\'F:/phantomjs/bin/phantomjs.exe\', desired_capabilities=cap) wait = ui.WebDriverWait(self.driver,10) def VisitPersonPage(self, url): print(\'正在加载网站.....\') self.driver.get(url) time.sleep(1) # 翻到底，详情加载 js="var q=document.documentElement.scrollTop=10000" self.driver.execute_script(js) time.sleep(5) content = self.driver.page_source.encode(\'gbk\', \'ignore\') print(\'网页加载完毕.....\') return content def __del__(self): self.driver.quit()
5) 创建爬虫模块
在项目目录E:\python-3.5.1\tmSpider，执行如下代码：
E:\python-3.5.1\tmSpider>scrapy genspider tmall \'tmall.com\'
执行后，项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders下会自动生成tmall.py程序文件。该程序中parse函数处理scrapy下载器返回的网页内容，采集网页信息的方法可以是：
- 使用xpath或正则方式从response.body中采集所需字段，
- 通过gooseeker api获取的内容提取器实现一站转换所有字段，而且不用手工编写转换用的xpath（如何获取内容提取器请参考python使用xslt提取网页数据）,代码如下：
# -*- coding: utf-8 -*- import time import scrapy import tmSpider.gooseeker.gsextractor as gsextractor class TmallSpider(scrapy.Spider): name = "tmall" allowed_domains = ["tmall.com"] start_urls = ( \'https://world.tmall.com/item/526449276263.htm\', ) # 获得当前时间戳 def getTime(self): current_time = str(time.time()) m = current_time.find(\'.\') current_time = current_time[0:m] return current_time def parse(self, response): html = response.body print("----------------------------------------------------------------------------") extra=gsextractor.GsExtractor() extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘宝天猫_商品详情30474","tmall","list") result = extra.extract(html) print(str(result).encode(\'gbk\', \'ignore\').decode(\'gbk\')) #file_name = \'F:/temp/淘宝天猫_商品详情30474_\' + self.getTime() + \'.xml\' #open(file_name,"wb").write(result)
6)，启动爬虫
在E:\python-3.5.1\tmSpider项目目录下执行命令
E:\python-3.5.1\simpleSpider>scrapy crawl tmall
输出结果:
提一下，上述命令只能一次启动一个爬虫，如果想同时启动多个呢？那就需要自定义一个爬虫启动模块了，在spiders下创建模块文件runcrawl.py，代码如下
# -*- coding: utf-8 -*- import scrapy from twisted.internet import reactor from scrapy.crawler import CrawlerRunner from tmall import TmallSpider ... spider = TmallSpider(domain=\'tmall.com\') runner = CrawlerRunner() runner.crawl(spider) ... d = runner.join() d.addBoth(lambda _: reactor.stop()) reactor.run()
执行runcrawl.py文件，输出结果：
3，展望
以自定义DOWNLOADER_MIDDLEWARES调用PhantomJs的方式实现爬虫后，在阻塞框架的问题上纠结了很长的时间，一直在想解决的方式。后续会研究一下scrapyjs，splash等其他调用浏览器的方式看是否能有效的解决这个问题。
4，相关文档
5，集搜客GooSeeker开源代码下载源
1， GooSeeker开源Python网络爬虫GitHub源
6，文档修改历史
1，2016-07-06：V1.0