解析子元素的html [BeautifulSoup]

Question

我只有两周时间学习 python。

我正在抓取一个 XML 文件和循环 [item->description] 的元素之一，里面有 HTML，我怎样才能得到 p 里面的文本？

url="https://www.milenio.com/rss"
source=requests.get(url)
soup=BeautifulSoup(source.content, features="xml")

items=soup.findAll('item')

for item in items:
  html_text=item.description
  # This returns HTML code: <p>Paragraph 1</p> <p>Paragraph 2</p>

下一行可以工作，但我有一些内部、外部链接和图片，这不是必需的。

desc=item.description.get_text()

所以，如果我创建一个循环 o 试图获取所有 p，它不起作用。

for p in html_text.find_all('p'):
  print(p)

AttributeError: 'NoneType' 对象没有属性 'find_all'

非常感谢！

Answer 1

问题在于 bs4 是如何处理 CData 的（它有很好的文档记录，但没有得到很好的解决）。

您需要从 bs4 导入 CData，这将有助于将 CData 提取为字符串并使用 html.parser 库，从那里使用该字符串创建一个新的 bs4 对象，为其赋予 findAll 属性并迭代其内容.

from bs4 import BeautifulSoup, CData
import requests

url="https://www.milenio.com/rss"
source=requests.get(url)
soup = BeautifulSoup(source.content, 'html.parser')

items=soup.findAll('item')

for item in items:
  html_text = item.description
  findCdata = html_text.find(text=lambda tag: isinstance(tag, CData))
  newSoup = BeautifulSoup(findCdata, 'html.parser')
  paragraphs = newSoup.findAll('p')
  for p in paragraphs:
    print(p.get_text())

编辑： OP 需要提取链接文本，发现只能在项目循环内使用link = item.link.nextSibling，因为链接内容像</link>http://www... 一样跳到其标签之外。在 XML 树视图中，这个特定的 XML 文档显示了可能是原因的链接元素的下拉列表。

要从文档内的其他标签中获取内容，这些标签在 XML 树视图中不显示下拉菜单并且没有嵌套 CData，请将标签转换为小写并照常返回文本：

item.pubdate.get_text() # Gets contents the tag <pubDate>
item.author.get_text() # Gets contents of the tag <author>

Answer 2

这应该是这样的：

for item in items:
    html_text=item.description #??

    #!! dont use html_text.find_all !!
    for p in item.find_all('p'):
        print(p)