爬虫之图片懒加载技术、selenium工具与PhantomJS无头浏览器

　　图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。

　　在网页源码中，在img标签中首先会使用一个“伪属性”（通常使用src2，original......）去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载。

　　因此在爬虫时，对当前页加载的数据进行分析发起请求获取解析数据会出现数据解析不完整，究其原因很有可能是图片的懒加载技术导致，因此要在爬虫时要特别注意准确解析数据！（比如站长素材高清图片的爬取）

简介

　　selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

环境安装

下载安装selenium：pip install selenium
下载浏览器驱动程序：
- http://chromedriver.storage.googleapis.com/index.html
- https://npm.taobao.org/mirrors/chromedriver
查看驱动和浏览器版本的映射关系：
- http://blog.csdn.net/huilan_same/article/details/51896672

简单使用

 1 '''
 2 下载浏览器驱动程序:https://npm.taobao.org/mirrors/chromedriver
 3 查看驱动和浏览器版本的映射:http://blog.csdn.net/huilan_same/article/details/51896672
 4 '''
 5 import time
 6 from lxml.html.clean import etree
 7
 8 from selenium import webdriver#pip install selenium 导入浏览器驱动
 9 #（1）创建（谷歌等）浏览器,参数为浏览器驱动位置
10 browser=webdriver.Chrome(r"./chromedriver.exe")
11
12
13 #（2）通过浏览器发起get请求
14 browser.get('https://www.baidu.com/')
15
16
17 #（3）进行关键字搜索等页面操作
18 #①定位搜索框标签（可通过多种方式进行定位）
19 search_input=browser.find_element_by_id('kw')
20 #②定位搜索按钮
21 search_button=browser.find_element_by_xpath('//input[@>)
22 #③在输入框输入关键字
23 search_input.send_keys('selenium')
24 time.sleep(2)
25 #④清空输入框
26 search_input.clear()
27 time.sleep(2)
28 search_input.send_keys('selenium工具包')
29 time.sleep(2)
30 #⑤点击搜索按钮
31 search_button.click()
32 time.sleep(2)
33 #⑥向下滑动滚动条到底部
34 browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")
35 time.sleep(2)
36 #⑦向下滑动滚动条到顶部
37 browser.execute_script("window.scrollTo(0,-document.body.scrollHeight)")
38 time.sleep(2)
39
40
41 #获取当前页面内容进行说数据解析
42 page_text=browser.page_source
43 print(etree.HTML(page_text).xpath('//span[@class="nums_text"]/text()')[0])
44
45
46 # 处理弹出的警告页面:确定accept() 和 取消dismiss()
47 # browser.switch_to_alert().accept()
48 # time.sleep(2)
49
50
51 #（3）关闭浏览器
52 # browser.close()
53 browser.quit()

selenium简单使用案例--百度搜索