【发布时间】：2014-01-14 06:26:23
【问题描述】：
我使用 Scarpy 从网站上删除了一些文本。但我不太确定如何将它们存储在 sqlite 中？有人可以帮我写代码吗？
【问题讨论】：
-
您需要定义一个管道，如建议的here，或使用项目导出器，如this。另请参阅此scrapy-dblite 库。
【发布时间】：2014-01-14 06:26:23
【问题描述】：
虽然您可以找到一些使用 阻塞 操作与数据库交互的示例，但值得注意的是，scrapy 构建在扭曲库之上，这意味着它的核心只有一个线程对所有操作都有一个循环，所以当你做类似的事情时：
self.cursor.execute(...)
整个系统都在等待数据库的响应，包括等待执行的http请求等。
话虽如此，我建议您检查此代码 sn-p https://github.com/riteshk/sc/blob/master/scraper/pipelines.py
使用twisted.enterprise.adbapi.ConnectionPool 比简单的阻塞数据库访问代码稍微复杂一点，但它与scrapy 使用io 操作的方式配合得很好
【讨论】：