如果内容中有各种标签，我如何抓取所有内容？

Question

我有一个蜘蛛，我想抓取一篇我感兴趣的文章，然后将标题和内容存储在字典中。但是，当我抓取正文时，它会返回 html 代码，我想将其转换为文本（包括文章中的所有 h1 和 href），但是当我使用 .getall() 时，它会返回一个空列表。我如何将这一切都变成文本，并且仍然保留文章中的所有内容。

在我尝试过的scrapy shell 中，它返回了一个包含所有html 代码的大列表。

    response.css("div.rich-text-content").getall()

下面是我为了完成这项任务而创建的初始蜘蛛...

  class ArticleSpider(scrapy.Spider):
        name = "article"

        def start_requests(self):
            urls = [
                "https://www.codehousegroup.com/insight-and-inspiration/tech-stream/what-is-machine-learning"
            ]
            for url in urls:
                yield scrapy.Request(url=url, callback=self.parse)

        def parse(self, response):
              for quote in response.css("div.article-page"):
                yield {
                    'heading': quote.css("h1::text").get(),
                    'text': quote.css("p.rectangle-decoration::text").get(),
                    'body': quote.css("div.rich-text-content rich-text-content::text").getall(),
                }

预期结果是一个字符串，其中包含当前在我的字典正文项中的所有内容，只是没有标签。

Answer 1

您可以使用 xpath 代替 css。

例子：

for quote in response.xpath('//div[@class="article-page"]'):
    text = quote.xpath("/h1/text()").get()
    ...

Answer 2

如果我猜对了，您需要选择 div 标签中的所有内部元素并返回它们的文本。

您可以在 css 中使用 * 来选择所有内部元素：

'body': quote.css("div.rich-text-content *::text").getall()