【问题标题】:Invoke scrapy's custom exporter by command line通过命令行调用scrapy的自定义导出器
【发布时间】:2018-02-22 14:02:31
【问题描述】:

在尝试 resolve my problem(按特定项目的字段输出有序 Json 数组)时,我有 received an answer 建议我为该作业创建一个自定义导出器。

我正在创建一个,但是...我发现的所有示例都建议通过管道调用它,但这对我来说似乎有点多余(我已经在个人导出器上定义了自定义行为...为什么我也应该使用管道进行自定义?)。

我搜索的是一种通过scrapy shell调用自定义导出器的方法。例如,要输出 json,我将使用:

scrapy crawl myspider -o myjson.json

是否存在某种方式来指定 my 自定义导出器以类似方式写入文件?我为自定义命令找到了一个实验性功能 COMMANDS_MODULE,但我不确定如何将它链接到我的自定义导出器。

【问题讨论】:

    标签: python web-scraping scrapy scrapy-pipeline scrapy-shell


    【解决方案1】:

    您可以使用FEED_EXPORTERS 设置激活导出器。

    FEED_EXPORTERS = {
        'json': 'path.to.SortedJsonItemExporter',
    }
    

    【讨论】:

    • 一旦您定义了该设置,自定义导出器将用于导出到 .json 文件
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-09-29
    • 1970-01-01
    • 1970-01-01
    • 2011-04-11
    • 1970-01-01
    • 1970-01-01
    • 2015-05-06
    相关资源
    最近更新 更多