【问题标题】:Scrapy not recognised commandScrapy 无法识别命令
【发布时间】:2014-07-01 19:59:28
【问题描述】:

我已经成功地将 Scrapy 及其所有依赖项安装到 Windows Vista 64 位平台上的 Python.org 64 shell 中。这是作为站点包安装的。我已经通过键入以下内容测试了 Scrapy 在基本级别上可以正常工作:

Import Scrapy

进入 Python Shell 并没有出错。我刚刚开始学习如何使用 Scrapy 的教程。其中大多数建议使用以下命令提示符行设置一个新项目:

C:\Python27>scrapy startproject myproject

但是,这会引发标题中关于 Scrapy 是无效命令的错误消息。我尝试修改我的环境变量以允许我从命令提示符中的任何文件位置使用此命令。我在环境变量的末尾添加了以下内容:

C:\Python27;C:\Python27\Scripts;C:\Python27\Lib\site-packages\scrapy;C:\Python27\Scrapy

这似乎并不能解决问题,因为我仍然收到相同的错误消息。我还尝试使用命令提示符从以下位置运行“scrapy startproject myproject”命令:

C:\Python27
C:\Python27\Scripts
C:\Python27\Scrapy

这仍然会抛出相同的错误消息。我觉得我已经很接近解决方案了,但我似乎无法让它发挥作用。

谁能发现我哪里出错了?

谢谢

编辑:

作为对以上来自 MattDMo 的最后评论的回应,该命令现在可以工作,但是它现在会抛出以下错误消息,我什至不确定从哪里开始:

C:\Python27\Scripts>scrapy startprogram mrscript
Traceback (most recent call last):
  File "c:\Python27\Scripts\scrapy", line 3, in <module>
    from scrapy.cmdline import execute
  File "c:\Python27\lib\site-packages\scrapy\cmdline.py", line 9, in <module>
    from scrapy.crawler import CrawlerProcess
  File "c:\Python27\lib\site-packages\scrapy\crawler.py", line 3, in <module>
    from twisted.internet import reactor, defer
  File "c:\Python27\lib\site-packages\twisted\internet\reactor.py", line 38, in
<module>
    from twisted.internet import default
  File "c:\Python27\lib\site-packages\twisted\internet\default.py", line 56, in
<module>
    install = _getInstallFunction(platform)
  File "c:\Python27\lib\site-packages\twisted\internet\default.py", line 50, in
_getInstallFunction
    from twisted.internet.selectreactor import install
  File "c:\Python27\lib\site-packages\twisted\internet\selectreactor.py", line 1
8, in <module>
    from twisted.internet import posixbase
  File "c:\Python27\lib\site-packages\twisted\internet\posixbase.py", line 24, i
n <module>
    from twisted.internet import error, udp, tcp
  File "c:\Python27\lib\site-packages\twisted\internet\tcp.py", line 29, in <mod
ule>
    from twisted.internet._newtls import (
  File "c:\Python27\lib\site-packages\twisted\internet\_newtls.py", line 21, in
<module>
    from twisted.protocols.tls import TLSMemoryBIOFactory, TLSMemoryBIOProtocol
  File "c:\Python27\lib\site-packages\twisted\protocols\tls.py", line 41, in <mo
dule>
    from OpenSSL.SSL import Error, ZeroReturnError, WantReadError
  File "c:\Python27\lib\site-packages\OpenSSL\__init__.py", line 8, in <module>
    from OpenSSL import rand, crypto, SSL
  File "c:\Python27\lib\site-packages\OpenSSL\rand.py", line 11, in <module>
    from OpenSSL._util import (
  File "c:\Python27\lib\site-packages\OpenSSL\_util.py", line 4, in <module>
    binding = Binding()
  File "c:\Python27\lib\site-packages\cryptography\hazmat\bindings\openssl\bindi
ng.py", line 87, in __init__
    self._ensure_ffi_initialized()
  File "c:\Python27\lib\site-packages\cryptography\hazmat\bindings\openssl\bindi
ng.py", line 106, in _ensure_ffi_initialized
    libraries=libraries,
  File "c:\Python27\lib\site-packages\cryptography\hazmat\bindings\utils.py", li
ne 80, in build_ffi
    extra_link_args=extra_link_args,
  File "c:\Python27\lib\site-packages\cffi\api.py", line 341, in verify
    lib = self.verifier.load_library()
  File "c:\Python27\lib\site-packages\cffi\verifier.py", line 75, in load_librar
y
    return self._load_library()
  File "c:\Python27\lib\site-packages\cffi\verifier.py", line 151, in _load_libr
ary
    return self._vengine.load_library()
  File "c:\Python27\lib\site-packages\cffi\vengine_cpy.py", line 138, in load_li
brary
    raise ffiplatform.VerificationError(error)
cffi.ffiplatform.VerificationError: importing 'c:\\Python27\\lib\\site-packages\
\cryptography\\_Cryptography_cffi_444d7397xa22f8491.pyd': DLL load failed: The s
pecified module could not be found.

这实际上是错误日志还是标准打印输出?另外,有人可以解释一下为什么将 .bat 文件添加到我的 Python 脚本会导致它起作用吗?

谢谢

【问题讨论】:

  • 你是如何安装scrapy的?
  • *.com/questions/13974402/… 的可能重复项
  • @AnkushShah 我已经阅读了这个问题,这不是重复的,因为针对该问题给出的解决方案似乎没有解决我的问题。
  • 对于您的最新一期,请尝试将startprogram 更改为startproject
  • Windows 上的 Python 变得卡顿,是的,感谢 DOS。 -_- 你可能会幸运地使用绝对路径和模块调用,例如:c:\python27\python.exe -m Scrapy startptoject myproject

标签: python scrapy


【解决方案1】:

pip install scrapy 在 Windows 上的 Python 的 Scripts 目录中安装一个名为 scrapy 的文件,默认位置为 C:\Python27\Scripts。然而,C:\Python27\Scripts\scrapy 是一个 Python 文件,尽管它缺少 .py 后缀。有两种运行方式。我的首选方法是使用Git Shell,因为scrapy 设置了可执行位,并且可以毫不费力地运行。

如果你想继续使用cmd.exe,另一种方法是制作一个包含以下内容的批处理文件:

@echo off
c:\Python27\python c:\Python27\Scripts\scrapy %*

将其保存在Scripts 目录中为scrapy.bat(假设您的PATH 现在包含C:\Python27;C:\Python27\Scripts),重新启动cmd.exe,您现在应该可以从命令行运行它了。

【讨论】:

  • 请参阅我已发布到我的问题的上述答案。谢谢
【解决方案2】:

我遇到了类似的问题(我在 Windows 7 中使用虚拟环境)。

我注意到对于旧版本的 scrapy,例如pip install scrapy==0.18.4,它会在我的虚拟环境中自动创建一个scrapy.bat{VENV_ROOT_FOLDER}\Scripts\scrapy.bat

但如果我使用最新的scrapy(当前版本为0.24.2),scrapy.bat 就不见了。

我想使用最新的scrapy版本,所以我所做的就是将scrapy.bat的副本放到它的Scripts文件夹中,它就解决了这个问题。

【讨论】: