【问题标题】:Python killed on GCPPython 在 GCP 上被杀死
【发布时间】:2018-03-23 08:57:31
【问题描述】:

我一直致力于比较在本地机器和谷歌云平台上运行深度学习代码。 该代码是关于循环神经网络的,它在本地机器上运行得很好。 但是在GCP cloud shell上,当我想编译我的python文件时,它显示“Killed”

userID@projectID:~$ python rnn.py

被杀

是不是因为我没记忆了? (因为我尝试逐行运行,并且第二次将大数据分配给变量时,它卡住了。) 我的代码有点像这样

imdb = np.load('imdb_word_emb.npz') X_train = imdb['X_train'] X_test = imdb['X_test']

在第三行,机器卡住并显示“Killed”

我试图改变第二行和第三行的顺序,它仍然停留在第三行。 我的训练数据是一个 (25000,80,128) 数组。我的测试数据也是如此。该数据集在我的本地机器上运行良好。我确信这个数据集没有问题。

还是因为其他原因? 如果知道如何解决甚至很少关键词的人告诉我如何处理,那就太棒了。谢谢 :D

【问题讨论】:

  • 你的数据集有多大?您可以尝试创建一个与您尝试使用的数据集一样大的常规 np 数组来解决此问题,并查看这是否也会引发问题。
  • @NiayeshIsky 好主意。我的数据集是两个 (25000,80,128) 数组作为训练和测试数据加上两个 (25000,1) 数组作为相应的标签。我试过了。相同大小的零 np 数组不存在内存问题。我不知道关键问题在哪里。
  • 嗯,很奇怪...我仍然认为这听起来像是内存问题,但如果不是,运行imdb.keys() 会显示您期望的键吗?也就是说,'X_train''X_test' 都应该在 imdb.keys() 中。
  • 但如果是内存问题(公平警告,我对 GCP 不太熟悉 - 我基本上只是在这里引用),可能是 DeadlineExceededErrorSupervisor。您可能还需要查看原生 GCP debugging
  • @NiayeshIsky 是的,我检查过了。 imdb.keys() 和我预期的一样。我会看看你的参考。谢谢!

标签: python google-cloud-platform rnn


【解决方案1】:

您收到的错误是因为 Cloud Shell 不适用于计算或网络密集型进程,see Cloud Shell limitations.

我了解到您希望将本地计算机与 Google Cloud Platform 进行比较。如in the public docs所述:

“当您启动 Cloud Shell 时,它会预配一个 g1-small Google Compute 引擎”

g1-small machine type 具有 1.70GB RAM 和共享物理内核。请牢记这一点,并且如前所述,这是有限的,您的本地计算机可能比 Cloud Shell 更强大,因此您不会看到任何改进。

我建议您创建具有不同机器类型的 Compute Engine 实例,您可以使用自定义机器类型来设置您想要拥有的内核数和 GB 的 RAM。我猜您想从在 Google Compute Engine 中更快地运行您的工作负载中受益,这样您就可以选择一种在资源方面比本地机器类型更好的机器类型,并比较它的改进程度。

【讨论】:

  • 我正在通过我自己的 PC 上的 SSH 连接,但我仍然收到 Killed 消息
猜你喜欢
  • 2020-10-21
  • 1970-01-01
  • 2021-05-02
  • 1970-01-01
  • 1970-01-01
  • 2010-12-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多