如何用笔记本执行scrapy shell“URL”

【问题标题】：how to execute scrapy shell "URL" with notebook如何用笔记本执行scrapy shell“URL”
【发布时间】：2014-11-28 10:24:30
【问题描述】：

我正在尝试刮擦

还有scrapy shell“URL”命令，使用来自URL的响应对象执行控制台ipython。

但我想用笔记本做那件事。

有没有办法用笔记本执行scrapy shell，

或者我怎样才能在 ipython 中手动获取 URL 的相同响应对象？

【问题讨论】：

标签： python-2.7 scrapy ipython-notebook

【解决方案1】：

偶然发现了这个未回答的问题，正在寻找相同的答案。我现在能想到的最接近的事情是：

import requests
from scrapy.http import TextResponse

r = requests.get('http://stackoverflow.com/')
response = TextResponse(r.url, body=r.text, encoding='utf-8')

然后您可以使用 xpath() 等常用方法调试响应。

【讨论】：