使用 lxml 进行网页抓取

【问题标题】：Web scraping with lxml使用 lxml 进行网页抓取
【发布时间】：2019-07-01 02:51:44
【问题描述】：

如何使用 xpath 提取标签之间的文本？例如，我尝试提取以 "Area:" 开头的文本，以下代码仅提取了单词 "Area" 而不是以下文本。

tree = lxml.html.fromstring(response.text)

xpath_ex= '//b[contains(text(),"Area:")]/descendant::text()'

raw_ex = tree.xpath(xpath_ex)

【问题讨论】：

你能发布你的response.text的代表块吗？
ABC，助理教授

领域： 自然语言处理、人工智能、计算机图形学、计算机视觉somelink/people/Faculty/Profile/ABC.html"></…>

个人资料和联系信息 | 主页

标签： python web-scraping lxml

【解决方案1】：

您评论中发布的 html 不完整，但假设它看起来像这样：

 resp = """
    <div class="text"><h4>ABC, Assistant Professor&nbsp;</h4> 
      <p><b>Area:</b>&nbsp;Natural Language Processing, Artificial Intelligence, 
Computer Graphics, Computer Vision<a href=" somelink/people/Faculty/Profile/ABC.html"></a> </p> <p>  <a href="/computing/people/faculty/ABC.html">Profile &amp; Contact Information&nbsp;</a>  &nbsp;| &nbsp;Home Page</p> 
    </div>
"""

试试这个：

from lxml.html import fromstring
tree = fromstring(resp)

xpath_ex= tree.xpath('//div[@class="text"]/p')
print(xpath_ex[0].text_content())

输出：

领域：自然语言处理、人工智能、计算机图形学、计算机视觉

【讨论】：

ABC，助理教授