Python Scrapy 错误。不再支持使用多个蜘蛛运行“scrapy crawl”答案

【问题标题】：Python Scrapy Error. Running 'scrapy crawl' with more than one spider is no longer supportedPython Scrapy 错误。不再支持使用多个蜘蛛运行“scrapy crawl”
【发布时间】：2017-02-20 18:13:02
【问题描述】：

我用 Scrapy Python 编写了一个脚本，几个月来一直运行良好（没有更改）。最近，当我在 Windows Powershell 中执行脚本时，它引发了下一个错误：

scrapy crawl spider –o 'filename.csv' –t 'csv'

...

Running 'scrapy crawl' with more than one spider is no longer supported

我想知道问题是什么。

提前致谢。

【问题讨论】：

奇怪的错误，从来没有见过...spiders 文件夹中有多个蜘蛛吗？
不，我不知道。我的蜘蛛文件夹中只有一只蜘蛛。
尝试运行不带引号的命令（'），即scrapy crawl spider -o filename.csv -t csv
我试过这个选项，但它不起作用

标签： scrapy scrapy-spider

【解决方案1】：

当您遇到这种情况时，很可能您在参数中的某处有一个额外空间，并且爬虫会看到比预期更多的参数。

删除它，它应该可以工作。

【讨论】：

【解决方案2】：

我遇到了这个问题，我通过更改解决了这个问题：

scrapy crawl s-mart -o test 2.csv -t csv

收件人：

scrapy crawl s-mart -o test2.csv -t csv

所以我猜是空格造成的？

【讨论】：

我遇到了与原始海报相同的问题，我仔细检查了运行时参数。额外的空格是原因。

【解决方案3】：

运行不带-t的命令，它是基于预定义模板生成新蜘蛛的快捷方式：

scrapy genspider [-t template] <name> <domain>

尝试类似：

scrapy crawl <yourspidername> –o filename.csv

文档https://doc.scrapy.org/en/0.10.3/topics/commands.html#available-tool-commands

【讨论】：

【解决方案4】：

试试

scrapy crawl spider –o filename.csv

【讨论】：

【解决方案5】：

确保使用短破折号编写命令选项：-o 而不是 -o。我尝试复制和粘贴您的命令，但没有成功，但它适用于短破折号。

【讨论】：

它不起作用。此问题是否与使用管道（同时执行多个请求）有关？

【解决方案6】：

可能的解决方案：

尝试在其模块中更改您的蜘蛛的名称。也许你在其他地方创建了一个同名的蜘蛛或者复制了它，scrapy 会跟踪你过去运行的内容，因此它会遇到 2+ 个同名的蜘蛛，并且由于名称必须是唯一的，所以它无法抓取它

更改名称解决了我的问题。

【讨论】：

【解决方案7】：

重命名蜘蛛后出现此错误。解决方案是删除蜘蛛文件夹中的所有 *.pyc 文件。当你下次运行scrapy时，这些会被python编译器重新生成。

【讨论】：

【解决方案8】：

我在参数中有一个“\n”。 ...替换("\n","")

【讨论】：