【问题标题】:How to override join_multivalued option of CsvItemExporter如何覆盖 CsvItemExporter 的 join_multivalued 选项
【发布时间】:2015-01-22 13:28:19
【问题描述】:

CsvItemExporter 有一个选项 join_multivalued,默认为逗号 (=',')。

如何在我的 scrapy 项目中将其更改为另一个字符?

【问题讨论】:

标签: python csv scrapy


【解决方案1】:

以这种方式在您的自定义CSVItemExporter 中设置它:

from scrapy.conf import settings
from scrapy.contrib.exporter import CsvItemExporter

class CSVkwItemExporter(CsvItemExporter):

    def __init__(self, *args, **kwargs):
        kwargs['fields_to_export'] = settings.getlist('EXPORT_FIELDS') or None
        kwargs['encoding'] = settings.get('EXPORT_ENCODING', 'utf-8')

        super(CSVkwItemExporter, self).__init__(*args, **kwargs)

        self._join_multivalued = settings.get('MY_CSV_DELIMITER', ',')

MY_CSV_DELIMITER 是一个示例设置,用于分隔符。

【讨论】:

    【解决方案2】:

    Scrapy 版本 1.5.0

    your_scrapy_project/exporters.py

    from scrapy.conf import settings
    from scrapy.exporters import CsvItemExporter
    
    class MyCsvItemExporter(CsvItemExporter):
    
        def __init__(self, *args, **kwargs):
    
            delimiter = settings.get('CSV_DELIMITER', ';')
            kwargs['delimiter'] = delimiter
    
            super(MyCsvItemExporter, self).__init__(*args, **kwargs) 
    

    your_scrapy_project/settings.py

    FEED_EXPORT_ENCODING = 'utf-8'
    
    FEED_EXPORTERS = {
        'csv': 'your_scrapy_project.exporters.MyCsvItemExporter',
    }
    
    CSV_DELIMITER = ';'
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-12-09
      • 2021-06-15
      • 2013-11-04
      • 1970-01-01
      • 2020-08-07
      • 2014-08-22
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多