Python：Scrapy收集选择器子项的所有文本

Question

我正在尝试抓取 ebay 列表的描述，并且正在接近它：

 def parse_description(self, response):
        description = response.css('div#ds_div*::text').get()
        yield {
            "description": description
        }

这个想法是获取 .css('div#ds_div') 下所有标签的文本 但是，我将其视为错误：

"Expected selector, got %s" % (peek,))
  File "<string>", line None
cssselect.parser.SelectorSyntaxError: Expected selector, got <DELIM '*' at 10>

我要抓取的示例 URL：https://www.ebay.co.uk/itm/Vintage-Toastmaster-Chrome-Toaster-Model-D182-4-Slice-Wide-Slot-Nos/114677725765?hash=item1ab3533a45:g:ui8AAOSw-jpgBbFS 我哪里错了？

Answer 1

错误是指选择器无效：

div#ds_div*::text

如果您在 div#ds_div 和 * 之间放置一个空格，则它是有效的，正如您在 cmets 中提到的那样。

通过查看链接，另一个问题是您尝试检索的文本位于 ID 为 desc_ifr 的 iframe 内。

如果您想抓取此 iframe 中的内容，请查看 iframe 的 src 属性并抓取此 url 而不是您问题中的 url。然后你可以这样做：

response.css('div#ds_div p::text').get()