AWS Sagemaker 内核似乎已死亡并重新启动

Question

我在尝试从包含 100 页的 API 检索数据时遇到内核错误。数据量很大，但代码在 Google Colab 或本地机器上执行时运行良好。

我在窗口中看到的错误是-

内核重启 内核似乎已经死了。它将自动重启。

我正在使用内存分配为 1000GB 的 ml.m5.xlarge 机器，并且实例中没有预先保存的数据集。此外，预期的数据大小约为 60 GB，分成多个数据集，每个数据集 4 GB。

谁能帮忙？

Answer 1

我认为您可以尝试不将所有数据加载到内存中，或者尝试切换到更强大的实例类型。根据https://aws.amazon.com/sagemaker/pricing/instance-types/ml.m5.xlarge 有 15GB 内存。

六月