将多个数组存储在一起时出现内存不足错误

Question

我正在尝试将 30227(1024 x 1024) 图像的像素数据存储在一起，方法是将它们连接到一个列表中以形成我的训练数据。但是我在 Jupyter 笔记本中这样做时收到内存不足错误。以下是我使用的代码行。

 train_data = []
 mm_scaler  = MinMaxScaler()
 for file_id in data['patientId']:
     file_name = train_images_path+"\\"+file_id.strip()+".dcm"
     if os.path.exists(file_name):
          image_data = mm_scaler.fit_transform(pydicom.dcmread(file_name).pixel_array)
          train_data.append(image_data)

有没有其他方法可以将这些数据存储在一起，以便以后用于训练我的模型？请在这方面帮助我

Answer 1

当系统有限制时会出现内存不足错误 你可以看看这个here

对于存储数据，您可以从 link 和 this 获得帮助

我没有任何 .dcm 文件来复制错误，但我建议在将图像导入数组后执行 minmax 缩放，您可以将其作为矩阵运算而不是数组运算来执行，而且花费的时间也更少。