scrapy：将 html 字符串转换为 HtmlResponse 对象答案

【问题标题】：scrapy: convert html string to HtmlResponse objectscrapy：将 html 字符串转换为 HtmlResponse 对象
【发布时间】：2015-02-04 02:04:42
【问题描述】：

我有一个原始 html 字符串，我想将其转换为 scrapy HTML 响应对象，以便可以使用选择器 css 和 xpath，类似于 scrapy 的 response。我该怎么做？

【问题讨论】：

标签： python web-scraping scrapy

【解决方案1】：

首先，如果是调试或测试目的，可以使用Scrapy shell：

$ cat index.html
<div id="test">
    Test text
</div>

$ scrapy shell index.html
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip()
u'Test text'

会话期间有different objects available in the shell，如response和request。

或者，您可以实例化 HtmlResponse class 并在 body 中提供 HTML 字符串：

>>> from scrapy.http import HtmlResponse
>>> response = HtmlResponse(url="my HTML string", body='<div id="test">Test text</div>', encoding='utf-8')
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip()
u'Test text'

【讨论】：

感谢 alecxe，我使用 Selenium 是因为一些 ajaxiness。我想将 driver.page_source 转换为与 resposne 相同的对象，以便我可以重用一些提取器（使用 css 和 xpath 选择器），而不必求助于 lxml。我认为您的第二个选择是我需要的。
@yayu 那么，您可能不需要创建 HTML 响应，而是创建 Selector，请参阅 stackoverflow.com/questions/18836286/… 和 stackoverflow.com/questions/17975471/…。可能有帮助。谢谢。
@yayu 并且，作为旁注，在项目中你可能会比scrapy拥有更多的硒 - 在这一点上，想想scrapy是否有任何意义.
@yayu 还有scrapyjs 可能值得一试——也许你可以避免使用selenium。
从今天开始，HtmlResponse 对象需要另一个参数，编码。你可以这样做：HtmlResponse(url='scrapy.org', body=u'some body', encoding='utf-8')

【解决方案2】：

alecxe 的答案是对的，但这是在scrapy 中从text 实例化Selector 的正确方法：

>>> from scrapy.selector import Selector
>>> body = '<html><body><span>good</span></body></html>'
>>> Selector(text=body).xpath('//span/text()').get()

'good'

【讨论】：

【解决方案3】：

您可以导入原生的scrapy选择器Selector并将html字符串声明为要解析的文本arg。

from scrapy.selector import Selector


def get_list_text_from_html_string(html_string):
    html_item = Selector(text=html_string)
    elements = [_li.get() for _li in html_item.css('ul > li::text')]
    return elements

list_html_string = '<ul class="teams">\n<li>Bayern M.</li>\n<li>Palmeiras</li>\n<li>Liverpool</li>\n<li>Flamengo</li></ul>'
print(get_list_text_from_html_string(list_html_string))
>>> ['Bayern M.', 'Tigres', 'Liverpool', 'Flamengo']

【讨论】：