【发布时间】:2021-11-13 10:46:43
【问题描述】:
我正在使用图像数据集,但它不平衡,我正在使用欠采样解决它,但它需要更多内存,如何节省内存,或者如何处理需要重新采样的大型图像数据集(不平衡图像数据集)和在 python 语言中需要 17 GB 的 RAM,尤其是在 Kaggle 上?
【问题讨论】:
我正在使用图像数据集,但它不平衡,我正在使用欠采样解决它,但它需要更多内存,如何节省内存,或者如何处理需要重新采样的大型图像数据集(不平衡图像数据集)和在 python 语言中需要 17 GB 的 RAM,尤其是在 Kaggle 上?
【问题讨论】:
最好的解决方案是避免内存泄漏或分块处理数据。否则,如果您确实需要将非常大的数据集加载到内存中,目前唯一的选择是将 Notebook 升级到 Google Cloud AI Platform Notebook,但这不是免费的。
【讨论】: