如何在调用 pickle.load() 时解决 MemoryError答案

【问题标题】：How to solve MemoryError on calling pickle.load()如何在调用 pickle.load() 时解决 MemoryError
【发布时间】：2018-03-09 19:02:00
【问题描述】：

我是深度学习世界的初学者。这就是我测试图像分类示例代码的原因。

但是，在执行 train.py 后不久，我收到了类似 MemoryError 的错误消息。

此示例代码来自以下 URL。

https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks-f40359318721

我该如何解决这个问题？

提前致谢。

steven@steven-VirtualBox:~/work/tflearn$ ll
total 5794836
drwxr-xr-x 3 steven steven       4096  3월  9 15:21 ./
drwxr-xr-x 6 steven steven       4096  2월 27 17:16 ../
-rw-r--r-- 1 steven steven      12288  2월 28 11:56 .full_dataset.pkl.swp
-rw-r--r-- 1 steven steven        147  2월 27 17:20 checkpoint
-rw-r--r-- 1 steven steven      61214  2월 27 17:52 convnet_cifar10.py
-rw-rw-r-- 1 steven steven  450189480  2월 28 10:32 data.zip
-rw-rw-r-- 1 steven steven 5483602303  6월 13  2016 full_dataset.pkl
drwxr-xr-x 2 steven steven       4096  2월 27 17:19 mnist/
-rw-r--r-- 1 steven steven       2884  2월 27 17:47 train.py
-rw-r--r-- 1 steven steven       2611  2월 28 11:50 train2.py
-rw-r--r-- 1 steven steven       2483  2월 27 17:19 weights_persistence.py
steven@steven-VirtualBox:~/work/tflearn$ 
steven@steven-VirtualBox:~/work/tflearn$ python train.py 
Traceback (most recent call last):
  File "train.py", line 20, in <module>
    X, Y, X_test, Y_test = pickle.load(open("full_dataset.pkl", "rb"))
MemoryError

我的电脑规格如下。

操作系统：Ubuntu 64bit
CPU : Intel(R) Core(TM) i5-7200U CPU @ 2.50GHz
内存：11350MB

【问题讨论】：

11.3 Gigs 内存错误？

标签： python tensorflow deep-learning

【解决方案1】：

您可能没有足够的 RAM 来打开文件，众所周知，pickle 需要的 RAM 是数据大小的 2-3 倍。

【讨论】：

好的，让我将数据集大小最小化为 3GB 以下并进行测试。谢谢。

【解决方案2】：

我不确定它是否会有所帮助，但请尝试：

而不是这个：

X, Y, X_test, Y_test = pickle.load(open("full_dataset.pkl", "rb"))

试试：

with open("full_dataset.pkl", "rb") as file_object:
    X, Y, X_test, Y_test = pickle.load(file_object)
#Do further Stuff

【讨论】：

应用您推荐的新代码后，我得到了相同的结果。 :( 还是谢谢。