使用 gzip 和 pickle 时出现 UnicodeDecodeError

Question

我正在使用 mnist 数据的练习代码在 Python 3.4

中进行深度学习

原代码是

import _pickle as cPickle
def load_data():
    f = gzip.open('../data/mnist.pkl.gz', 'rb')
    training_data, validation_data, test_data = cPickle.load(f)
    f.close()
    return (training_data, validation_data, test_data)
def load_data_wrapper():
    tr_d, va_d, te_d = load_data()
    ....

但是导致UnicodeDecodeError，根据网上的建议，我把cPickle.load(f)改成pickle.load(f, encoding='latin1')

当我在shell中运行时也会出现同样的错误

>>> training_data, validation_data, test_data = \
... mnist_loader.load_data_wrapper() \
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "C:\E\Deep Learning Tutorial\neural-networks-and-deep-learning-master\src\mnist_loader.py", line 68, in load_data_wrapper
tr_d, va_d, te_d = load_data()
  File "C:\E\Deep Learning Tutorial\neural-networks-and-deep-learning-master\src\mnist_loader.py", line 43, in load_data

并且错误行追溯到：

f = gzip.open('../data/mnist.pkl.gz', 'rb')

和以前一样的错误，但只发生在不同的行

UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)

如何解决这个问题？

Answer 1

首先，我能够使用从我下载的https://github.com/mnielsen/neural-networks-and-deep-learning/archive/master.zip 存档中提取的mnist.pkl.gz 数据文件来重现该问题。 pickle.load(f) 调用引发以下异常：

UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)

但是，当我按照我在您问题下的评论中的建议将 encoding='bytes' 参数添加到 pickle.load() 调用时，错误消失了。

另一个变化是将import _pickle as cPickle 替换为import pickle，但我认为这并不重要（请参阅What difference between pickle and _pickle in python 3?）。

可能的其他显着差异是我在 Windows 上使用 Python 3.6.3。

import gzip
import pickle

def load_data():
    f = gzip.open('mnist.pkl.gz', 'rb')
    training_data, validation_data, test_data = \
        pickle.load(f, encoding='bytes')  # Note encoding argument value.
    f.close()
    return (training_data, validation_data, test_data)

def load_data_wrapper():
    tr_d, va_d, te_d = load_data()
    print('gzipped pickled data loaded successfully')

load_data_wrapper()

题外话： load_data() 函数可以写得更简洁一些：

def load_data():
    with gzip.open('mnist.pkl.gz', 'rb') as f:
        training_data, validation_data, test_data = \
            pickle.load(f, encoding='bytes')
    return training_data, validation_data, test_data