本节内容:
- 介绍
- 安装
- 基本使用
- 选择器
- 等待元素被加载
- 元素交互操作
- 其他
- 项目练习
一.介绍
1 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题
2
3 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器
4
5 from selenium import webdriver
6 browser=webdriver.Chrome()
7 browser=webdriver.Firefox()
8 browser=webdriver.PhantomJS()
9 browser=webdriver.Safari()
10 browser=webdriver.Edge()
官网链接
二.安装
![]()
1 #安装:selenium+chromedriver
2 pip3 install selenium
3 下载chromdriver.exe放到python安装路径的scripts目录中即可,注意最新版本是2.35,并非2.9
4 国内镜像网站地址:http://npm.taobao.org/mirrors/chromedriver/2.35/
5 最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads
6
7 #验证安装
8 C:\Users\Administrator>python3
9 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
10 Type "help", "copyright", "credits" or "license" for more information.
11 >>> from selenium import webdriver
12 >>> driver=webdriver.Chrome() #弹出浏览器
13 >>> driver.get('https://www.baidu.com')
14 >>> driver.page_source
15
16 #注意:
17 selenium3默认支持的webdriver是Firfox,而Firefox需要安装geckodriver
18 下载链接:https://github.com/mozilla/geckodriver/releases
selenium+chromedriver