MemoryError：无法为形状（323313、3435）和数据类型 float64 的数组分配 8.27 GiB

Question

我的数据框中有扩展名（例如 .exe、.py、.xml、.doc 等）表。在终端上运行后 我在大型数据集上遇到错误。

encoder = OneHotEncoder(handle_unknown='ignore')
encoder.fit(features['Extension'].values.reshape(-1, 1))
temp = encoder.transform(features['Extension'].values.reshape(-1, 1)).toarray()  #GETTING ERROR on this
print("Size of array in bytes",getsizeof(temp))
print("Array :-",temp)
print("Shape :- ",features.shape, temp.shape)
features.drop(columns=['Extension'], axis=1, inplace=True)
dump(encoder, os.path.join(os.getcwd(), 'model_dumps', 'encoder.pkl'))
features.drop(columns=['Extension'], axis=1, inplace=True)
features = featureScaling(features)
features = np.concatenate((features, temp), axis=1)

输出 -

1) Size of array in bytes :- 8884558912
2) Array :- 
[[0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 ...
 [1. 0. 0. ... 0. 0. 0.]
 [1. 0. 0. ... 0. 0. 0.]
 [1. 0. 0. ... 0. 0. 0.]]
3)Shape :- (323310, 8) (323310, 3435)

Answer 1

这很有趣。

MemoryError: 无法为形状为 (323313, 3435) 且数据类型为 float64 的数组分配 8.27 GiB

大多数现代计算机的 RAM 不超过 8 Gb。看起来你有 8 个，python 无法将所有这些数据都放入内存中。尝试购买另一台具有更多内存的计算机或升级您现有的计算机。这肯定会解决问题。