包含python3中JSON数据的不同压缩方法

Question

所以，我想使用不同的压缩器来压缩我的 JSON 数据。我用它来压缩 JSON。

import gzip
import JSON

with gzip.GzipFile('2.json', 'r') as isfile:
    for line in isfile:
        obj = json.loads(line)

这会引发错误。

raise OSError('Not a gzipped file (%r)' % magic)

OSError: Not a gzipped file (b'[\n')

我也试过直接压缩使用。

zlib_data= zlib.compress(data)

这会引发错误。

return lz4.block.compress(*args, **kwargs)

TypeError: a bytes-like object is required, not 'list'

所以，基本上我想使用所有方法压缩 JSON，并计算不同方法的压缩时间。

Answer 1

在 python2.7 上

这似乎是您的数据类型的问题

要压缩的数据应该是 'str' 类型

import gzip
import json
import lz4
import time

with gzip.GzipFile('data.gz','w') as fid_gz:
    with open('data.json','r') as fid_json:
        # get json as type dict
        json_dict = json.load(fid_json)
        # convert dict to str
        json_str = str(json_dict)
    # write string
    fid_gz.write(json_str)

# check well maded
with gzip.GzipFile('data.gz','r') as fid_gz :
    print(fid_gz.read())

即使gzip压缩

gzip.zlib.compress(json_str,9)

即使 lz4 压缩

lz4.block.compress(json_str)

时间检查将是

# set start time
st = time.time()
# calculate elasped time
print(time.time() - st)

---

在 python3.5 上

python2.7 和 python 3 的区别在于你要压缩的数据类型

要压缩的数据应该是通过 bytes() 的 'byte' 类型

制作 .gz 文件时

with gzip.GzipFile('data.gz','w') as fid_gz:
    with open('data.json','r') as fid_json:
        json_dict = json.load(fid_json)
        json_str = str(json_dict)
        # bytes(string, encoding)
        json_bytes = bytes(json_str,'utf8')
    fid_gz.write(json_bytes)

或者只是用 gzip.compress(data, compresslevel=9) 压缩

# 'data' takes bytes
gzip.compress(json_bytes)

或者只是用 zlib.compress(bytes, level=-1, /) 压缩

gzip.zlib.compress(json_bytes,9)

或者只是用 lz4.bloc.compress(source, compression=0) 压缩

# 'source' takes both 'str' and 'byte'
lz4.block.compress(json_str)
lz4.block.compress(json_bytes)

测量时间由您决定。

干杯