【问题标题】:How to compress warc records with lzma (*.warc.xz) in python3?如何在python3中使用lzma(* .warc.xz)压缩warc记录?
【发布时间】:2017-01-14 12:36:52
【问题描述】:


我有一份warc记录列表。列表中的每一项都是这样创建的:

header = warc.WARCHeader({
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
}, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))

现在,我使用 *.warc.gz 来存储我的记录,如下所示:

output_file = warc.open("my_file.warc.gz", 'wb')

然后这样写记录:

output_file.write_record(record) # type of record is WARCRecord

但是我怎样才能将 lzma 压缩为 *.warc.xz?我尝试在调用warc.open时用xz替换gz,但是python3中的warc不支持这种格式。我找到了这个trial,但我无法用这个来保存 WARCRecord:

output_file = lzma.open("my_file.warc.xz", 'ab', preset=9)
header = warc.WARCHeader({
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
}, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))
output_file.write(record)

错误信息是:

TypeError: 需要一个类似字节的对象,而不是 'WARCRecord'

感谢您的帮助。

【问题讨论】:

    标签: python-3.x lzma xz warc


    【解决方案1】:

    WARCRecord 类有一个write_to 方法,用于将记录写入文件对象。

    您可以使用它将记录写入使用lzma.open() 创建的文件。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2011-07-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多