某直聘python岗位 - Python爬虫

过年了，爬爬看python需要什么技能才能有备无患。

大体思路：

• 爬所需信息
• 爬一爬详情页做个可视化词云，看看所需节能
• 做一做数据可视化

所需库：

• csv，保存数据用的
• selenium，模拟真人访问网站，因为requests很容易被反爬
• parsel和requests，可以尝试爬详情页
• random，随机休眠用的
• time，时间模块儿

翻页爬取python岗位信息代码：

 1 from selenium import webdriver
 2 from selenium.webdriver.common.by import By
 3 from selenium.webdriver.support import expected_conditions as EC
 4 from selenium.webdriver.support.ui import WebDriverWait
 5 import csv
 6 import time
 7 import random
 8 import requests
 9 import parsel
10 
11 f = open(\'boss.csv\', mode=\'a\', encoding=\'utf-8-sig\', newline=\'\')
12 csvWriter = csv.DictWriter(f, fieldnames=[
13     \'标题\',
14     \'地区\',
15     \'薪资\',
16     \'经验\',
17     \'公司名\',
18     \'公司领域\',
19     \'福利\',
20     \'公司规模\',
21     \'详情页\',
22     # \'所需技能\',
23 ])
24 csvWriter.writeheader() #  写入头
25 
26 url = \'https://www.zhipin.com/c100010000/?query=python&ka=sel-city-100010000\'
27 driver = webdriver.Chrome()
28 driver.get(url=url)
29 driver.implicitly_wait(10)
30 driver.maximize_window() # 最大化窗口
31 # lis = driver.find_elements_by_css_selector(\'.job-list ul li\')
32 
33 def get_job_details():
34     lis = driver.find_elements(By.CSS_SELECTOR, \'.job-list ul li\')
35     for li in lis:
36         title = li.find_element(By.CSS_SELECTOR, \'.job-name a\').text # 标题
37         area = li.find_element(By.CSS_SELECTOR, \'.job-area\').text # 地区
38         salary = li.find_element(By.CSS_SELECTOR, \'.job-limit .red\').text # 薪资
39         experience = li.find_element(By.CSS_SELECTOR, \'.job-limit p\').text # 工作经验
40         companyName = li.find_element(By.CSS_SELECTOR, \'.company-text h3 a\').text # 公司名
41         companyStyle = li.find_element(By.CSS_SELECTOR, \'.company-text p a\').text # 公司领域
42         welfare = li.find_element(By.CSS_SELECTOR, \'.info-desc\').text # 公司福利
43         peopleInclude = li.find_element(By.CSS_SELECTOR, \'.company-text p em\').text # 公司规模
44         detailPage = li.find_element(By.CSS_SELECTOR, \'.job-name a\').get_attribute(\'href\') # 详情页
45         # skillsNeed = get_skills_desc(desc_url=detailPage) # 加载窗口
46         print(title, area, salary, experience, companyName, companyStyle, peopleInclude, detailPage, skillsNeed, sep=\' | \')
47         dit = {
48             \'标题\': title,
49             \'地区\': area,
50             \'薪资\': salary,
51             \'经验\': experience,
52             \'公司名\': companyName,
53             \'公司领域\': companyStyle,
54             \'福利\': welfare,
55             \'公司规模\': peopleInclude,
56             \'详情页\': detailPage,
57             # \'所需技能\': skillsNeed,
58         }
59         csvWriter.writerow(dit) # 逐行写入
60 
61 # def get_skills_desc(desc_url):
62 #     # 获取详情页所需技能的函数
63 #     # 加载另一个窗口
64 #     js = \'window.open()\'
65 #     driver.execute_script(js) # 打开新窗口
66 #     driver.switch_to.window(window_name=driver.window_handles[-1]) # 切换到刚打开的窗口
67 #     # 开始加载url
68 #     driver.get(url=desc_url) # 加载详情页url
69 #     driver.implicitly_wait(10) # 等待网页加载完成
70 #     skills_need = driver.find_element(By.CSS_SELECTOR, \'.text\') # 直接查找描述字段
71 #     return skills_need
72 
73 for page in range(1, 100 + 1):
74     print(f\'------------------------正在爬取第{page}页内容----------------------------\')
75     time.sleep(random.uniform(2,5))
76     get_job_details() # 获取信息
77     next_button = driver.find_element(By.CSS_SELECTOR, \'.page .next\')
78     if next_button: # 如果找到，就表示有下一页
79         next_button.click() # 点击下一页
80     else:
81         print(f\'已经没有了！ 第{page}已经是最后一页！\')
82 
83 driver.quit() # 退出浏览器

爬虫代码本来想把详情页都爬了，一口气吃成胖子，发现有错误，因为详情页的内容只需要做词云（展示python岗位所需的技能）。所以分开爬，不注重过程，只注重结果。

优化爬虫代码，把详情页的所需技能也爬出来：

 1 from selenium import webdriver
 2 from selenium.webdriver.common.by import By
 3 from selenium.webdriver.support import expected_conditions as EC
 4 from selenium.webdriver.support.ui import WebDriverWait
 5 import csv
 6 import time
 7 import random
 8 import requests
 9 import parsel
10 
11 f = open(\'boss.csv\', mode=\'a\', encoding=\'utf-8-sig\', newline=\'\')
12 csvWriter = csv.DictWriter(f, fieldnames=[
13     \'标题\',
14     \'地区\',
15     \'薪资\',
16     \'经验\',
17     \'公司名\',
18     \'公司领域\',
19     \'福利\',
20     \'公司规模\',
21     \'详情页\',
22     \'所需技能\',
23 ])
24 csvWriter.writeheader() #  写入头
25 
26 url = \'https://www.zhipin.com/c100010000/?query=python&ka=sel-city-100010000\'
27 driver = webdriver.Chrome()
28 driver.get(url=url)
29 driver.implicitly_wait(10)
30 driver.maximize_window() # 最大化窗口
31 # lis = driver.find_elements_by_css_selector(\'.job-list ul li\')
32 
33 def get_job_details():
34     lis = driver.find_elements(By.CSS_SELECTOR, \'.job-list ul li\')
35     for li in lis:
36         title = li.find_element(By.CSS_SELECTOR, \'.job-name a\').text # 标题
37         area = li.find_element(By.CSS_SELECTOR, \'.job-area\').text # 地区
38         salary = li.find_element(By.CSS_SELECTOR, \'.job-limit .red\').text # 薪资
39         experience = li.find_element(By.CSS_SELECTOR, \'.job-limit p\').text # 工作经验
40         companyName = li.find_element(By.CSS_SELECTOR, \'.company-text h3 a\').text # 公司名
41         companyStyle = li.find_element(By.CSS_SELECTOR, \'.company-text p a\').text # 公司领域
42         welfare = li.find_element(By.CSS_SELECTOR, \'.info-desc\').text # 公司福利
43         peopleInclude = li.find_element(By.CSS_SELECTOR, \'.company-text p em\').text # 公司规模
44         detailPage = li.find_element(By.CSS_SELECTOR, \'.job-name a\').get_attribute(\'href\') # 详情页
45         if detailPage: # 判定是否有详情页
46             js = \'window.open()\'
47             driver.execute_script(js) # 打开一个新窗口
48             driver.switch_to.window(window_name=driver.window_handles[-1]) # 切换到最后一个窗口
49             driver.maximize_window() # 最大化创库
50             driver.get(detailPage) # 请求详情页
51             driver.implicitly_wait(10) # 隐式等待
52             skillsNeed = driver.find_element(By.CSS_SELECTOR, \'.text\').text
53             driver.close() # 关闭当前窗口
54         time.sleep(random.uniform(1, 5)) # 随机休眠
55         driver.switch_to.window(driver.window_handles[0]) # 切回第一个窗口
56         print(title, area, salary, experience, companyName, companyStyle, peopleInclude, detailPage, skillsNeed, sep=\' | \')
57         dit = {
58             \'标题\': title,
59             \'地区\': area,
60             \'薪资\': salary,
61             \'经验\': experience,
62             \'公司名\': companyName,
63             \'公司领域\': companyStyle,
64             \'福利\': welfare,
65             \'公司规模\': peopleInclude,
66             \'详情页\': detailPage,
67             \'所需技能\': skillsNeed,
68         }
69         csvWriter.writerow(dit) # 逐行写入
70 
71 # def get_skills_desc(desc_url):
72 #     # 获取详情页所需技能的函数
73 #     # 加载另一个窗口
74 #     js = \'window.open()\'
75 #     driver.execute_script(js) # 打开新窗口
76 #     driver.switch_to.window(window_name=driver.window_handles[-1]) # 切换到刚打开的窗口
77 #     # 开始加载url
78 #     driver.get(url=desc_url) # 加载详情页url
79 #     driver.implicitly_wait(10) # 等待网页加载完成
80 #     skills_need = driver.find_element(By.CSS_SELECTOR, \'.text\') # 直接查找描述字段
81 #     return skills_need
82 
83 for page in range(1, 10 + 1):
84     print(f\'------------------------正在爬取第{page}页内容----------------------------\')
85     time.sleep(random.uniform(2,5))
86     get_job_details() # 获取信息
87     next_button = driver.find_element(By.CSS_SELECTOR, \'.page .next\')
88     if next_button: # 如果找到，就表示有下一页
89         next_button.click() # 点击下一页
90     else:
91         print(f\'已经没有了！ 第{page}已经是最后一页！\')
92 
93 driver.quit() # 退出浏览器

做个可视化大屏：

 1 import pandas as pd
 2 from pyecharts.charts import *
 3 import pyecharts.options as opts
 4 from pyecharts.globals import ThemeType
 5 
 6 df = pd.read_csv(\'boss.csv\') # 读取csv文档
 7 dq = df.groupby(\'地区\').count()[\'标题\'] # 按地区提取数量
 8 # print(df[\'地区\'].str[0:2])
 9 # 提取地区的前两位
10 diqu = df[\'地区\'].str[0:2].value_counts() # 统计一下每个地区的招聘数量
11 label = diqu.index.tolist() # 要画图的标签
12 data = diqu.values.tolist() # 要画图的数据
13 
14 def bossBar():
15     b = (
16         Bar(init_opts=opts.InitOpts(width=\'1080px\', height=\'960px\', theme=ThemeType.LIGHT))
17         .add_xaxis(label)
18         .add_yaxis(series_name=\'招聘数量\', y_axis=data, bar_max_width=\'50px\',)
19         .set_global_opts(
20             title_opts=opts.TitleOpts(title=\'各地区招聘数量柱状图\'),
21             toolbox_opts=opts.ToolboxOpts(),
22             tooltip_opts=opts.TooltipOpts(
23                 trigger=\'axis\',
24                 axis_pointer_type=\'cross\',
25             ),
26         )
27     )
28     return b
29 
30 def bossReverselBar():
31     b = (
32         Bar(init_opts=opts.InitOpts(width=\'1080px\', height=\'960px\', theme=ThemeType.LIGHT))
33         .add_xaxis(label)
34         .add_yaxis(series_name=\'招聘数量\', y_axis=data, label_opts=opts.LabelOpts(is_show=False), bar_max_width=\'100px\')
35         .set_global_opts(
36             title_opts=opts.TitleOpts(
37                 title=\'各地区招聘数量反转柱状图\',
38                 title_textstyle_opts=opts.TextStyleOpts(font_size=27),
39             ),
40             legend_opts=opts.LegendOpts(
41                 pos_left=\'10%\',
42                 pos_top=\'10%\',
43             ),
44             tooltip_opts=opts.TooltipOpts(
45                 is_show=True,
46                 trigger=\'axis\',
47                 axis_pointer_type=\'cross\',
48             ),
49             toolbox_opts=opts.ToolboxOpts(),
50         )
51         .reversal_axis() # 反转坐标轴
52     )
53     return b
54 
55 def bossPie():
56     p = (
57         Pie(init_opts=opts.InitOpts(width=\'1580px\', height=\'660px\', theme=ThemeType.LIGHT))
58         .add(\'\', center=[\'280\', \'330\'], data_pair=[list(z) for z in zip(label, data)]) # 饼图
59         .add(\'\', center=[\'780\', \'330\'], data_pair=[list(z) for z in zip(label, data)], radius=[\'40%\', \'70%\']) #  环图
60         .add(\'\', center=[\'1280\', \'330\'], data_pair=[list(z) for z in zip(label, data)], rosetype=\'radius\') # 南丁格尔图
61         .set_global_opts(
62             title_opts=opts.TitleOpts(
63                 title=\'各地区招聘数量饼图\',
64                 title_textstyle_opts=opts.TextStyleOpts(font_size=27),
65             ),
66             legend_opts=opts.LegendOpts(
67                 pos_left=\'10%\',
68                 pos_top=\'10%\',
69             ),
70         )
71         .set_series_opts(label_opts=opts.LabelOpts(
72             is_show=True,
73             formatter=\'{b}:{c}:{d}\'),
74         )
75     )
76     return p
77 
78 # 开始制作可视化大屏
79 page = Page(layout=Page.DraggablePageLayout, page_title=\'基于boss直聘的可视化大屏\') #DraggablePageLayout可以调整可视化布局
80 
81 page.add(
82     bossBar(),
83     bossReverselBar(),
84     bossPie(),
85 ).render(\'基于boss直聘的可视化大屏.html\')
86 # 上面代码生成可视化可编辑大屏,对图片布局完成之后，要记得点击左上角的save config按钮对布局文件进行保存。之后本地会生成一个chart_config.json文件，然后运行下面的代码：
87 page.save_resize_html(\'可视化大屏设置.html\', cfg_file=\'chart_config.json\', dest=\'可视化大屏.html\')

再做个可视化词云：

 1 from stylecloud import gen_stylecloud
 2 import pandas as pd
 3 import re
 4 import jieba
 5 
 6 
 7 df = pd.read_csv(\'boss.csv\') # 打开文档
 8 
 9 contentList = df[\'所需技能\'].to_list() # 从csv文档里提取出的列表
10 contentStr = \'\'.join(contentList) # 将上面的列表转换成字符串
11 print(contentList)
12 print(contentStr)
13 
14 # 对字符串进行处理，替换标点和换行符
15 wordStr = re.sub(\'[0-9a-zA-Z\< =\":\/;\.\_\->\\+]\[；,？#，。！“”、\@...\\'\?\%…\&]\', \'\',contentStr)
16 print(wordStr)
17 # 将处理好的字符串进行jieba分词
18 jiebaWords = jieba.cut(wordStr) # 是个生成器
19 # 将jieba分号的词再转成字符串
20 needWords = \' \'.join(jiebaWords)
21 print(needWords)
22 stopWords = [\'熟练\', \'使用\', \'等\', \'和\', \'家长\', \'招\', \'乐高\', \'老师\', \'及\', \'招\', \'职责\',
23              \'及其\', \'了解\', \'可\', \'选\', \'好\', \'以下\', \'有\', \'会\', \'语言\', \'有过\', \'的\', \'时\',
24              \'者\', \'优先\', \'小\', \'以上\', \'出差\', \'年\', \'或\', \'并\', \'与\', \'进行\', \'至少\', \'内容\',
25              \'能\', \'或者\', \'对\', \'要求\', \'一定\', \'做\', \'工资\', \'其他\', \'职位\', \'云\'] # 与展示节能无关的词
26 
27 gen_stylecloud(
28     text=needWords,
29     size=1280, # stylecloud的大小，长度和宽度,
30     font_path=\'C:\\Windows\\Fonts\\simhei.ttf\', # 字体路径
31     max_words=150, # stylecloud中能容的最多词数
32     max_font_size=200, # 最大字号
33     # invert_mask=, # 蒙版
34     custom_stopwords=stopWords, # 停用词
35     output_name=\'1.png\', # 输出的名字
36 )

效果类似如下：