1 学习beautifulsoup
- 学习beautifulsoup，并使用beautifulsoup提取内容。
- 使用beautifulsoup提取丁香园论坛的回复内容。
- 丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。
1.1 解析库的安装
- lxml的安装
lxml 是 Python 的一个解析库， 支持 HTML 和 XML 的解析，支持 XPath解析方式，而且解析效 率非常高。
- 下载链接 :
GitHub: https://github.com/lxml/lxml - Windows 下的安装
在 Windows 下，可以利用 pip 安装， 此时直接执行如下命令即可：
pip3 install lxml
如果没有任何报错，则证明安装成功。
- Beautiful Soup 的安装
Beautiful Soup 是 Python 的一个 HTML 或 XML 的解析库，我们可以用它来方便地从网页中提取数据。
- 官方链接：
https://www.crummy.com/software/BeautifulSoup/bs4/download/ - Windows 下的安装
目前， Beautiful Soup 的最新版本是4x版本，之前的版本已经停止开发了。这里推荐使用 pip 来 安装，安装命令如下：
pip3 install beautifulsoup4
命令执行完毕之后即可完成安装。
1.2 提取信息
我使用谷歌浏览器访问的，快键键F12，在选项卡“Elements”中可以很清晰地看见网站结构及回复内容的源代码及其标签：
由上图可知，网页中的回复内容在 td 标签中，定义在 postbody 类中。
1.3 代码展示
import requests
from bs4 import BeautifulSoup
#利用requests抓取网页
def get_html(url):
#申请请求头
headers = {
'user-agent':'Chrome/70.0.3538.102'
}
response = requests.get(url, headers=headers)
#手动指定字符编码为utf-8，防止乱码
response.encoding = 'utf-8'
#判断状态符
if response.status_code == 200:
return response.text
return None
#通过beautifulsoup筛选出评论
def get_info(html):
#创建bs对象
soup = BeautifulSoup(html,'lxml')
#根据标签，查找所要爬取的评论
return soup.find_all("td",class_="postbody")
if __name__ == "__main__":
url = 'http://www.dxy.cn/bbs/thread/626626'
html = get_html(url)
infos = get_info(html)
for i in range(len(infos)):
print('~'*100)
print(infos[i].text.strip())#利用strip()将文本前后空格删去
输出结果：
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。
婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安
和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查
过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电
生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中
国神经精神疾病杂志， 2002 Vol.28 No.2
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。
2 学习xpath
1.学习xpath，使用lxml+xpath提取内容。
2.使用xpath提取丁香园论坛的回复内容。
3.丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。
2.1 提取信息
列举了 XPath 的几个常用规则。
根据上表可知，对应网页中回复内容的代码为
//td[@class="postbody"]
2.2 代码展示
from lxml import etree
import requests
#利用reques抓取网页
def get_html(url):
headers = {'user-agent':'Chrome/70.0.3538.102'}
response = requests.get(url,headers=headers)
response.encoding = 'utf-8'
if response.status_code == 200:
return response.text
return None
#利用xpath筛选出评论
def get_info(html):
info_html = etree.HTML(html)
result = info_html.xpath('//td[@class="postbody"]//text()') #文本信息
return result
if __name__ == "__main__":
url = "http://www.dxy.cn/bbs/thread/626626#626626"
html = get_html(url)
infos = get_info(html)
for i in range(len(infos)):
print(infos[i].strip())
输出结果
我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。
婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？
从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。
贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”
作者：林文华 任自文 丁燕生
http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm
同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。
入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，
再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。
因在外地，下面一篇文章可能对您有助，请您自己查找一下。
心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2
该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。