【发布时间】:2018-03-23 08:57:31
【问题描述】:
我一直致力于比较在本地机器和谷歌云平台上运行深度学习代码。 该代码是关于循环神经网络的,它在本地机器上运行得很好。 但是在GCP cloud shell上,当我想编译我的python文件时,它显示“Killed”
userID@projectID:~$ python rnn.py
被杀
是不是因为我没记忆了? (因为我尝试逐行运行,并且第二次将大数据分配给变量时,它卡住了。) 我的代码有点像这样
imdb = np.load('imdb_word_emb.npz')
X_train = imdb['X_train']
X_test = imdb['X_test']
在第三行,机器卡住并显示“Killed”
我试图改变第二行和第三行的顺序,它仍然停留在第三行。 我的训练数据是一个 (25000,80,128) 数组。我的测试数据也是如此。该数据集在我的本地机器上运行良好。我确信这个数据集没有问题。
还是因为其他原因? 如果知道如何解决甚至很少关键词的人告诉我如何处理,那就太棒了。谢谢 :D
【问题讨论】:
-
你的数据集有多大?您可以尝试创建一个与您尝试使用的数据集一样大的常规 np 数组来解决此问题,并查看这是否也会引发问题。
-
@NiayeshIsky 好主意。我的数据集是两个 (25000,80,128) 数组作为训练和测试数据加上两个 (25000,1) 数组作为相应的标签。我试过了。相同大小的零 np 数组不存在内存问题。我不知道关键问题在哪里。
-
嗯,很奇怪...我仍然认为这听起来像是内存问题,但如果不是,运行
imdb.keys()会显示您期望的键吗?也就是说,'X_train'和'X_test'都应该在imdb.keys()中。 -
但如果是内存问题(公平警告,我对 GCP 不太熟悉 - 我基本上只是在这里引用),可能是 DeadlineExceededError 或Supervisor。您可能还需要查看原生 GCP debugging。
-
@NiayeshIsky 是的,我检查过了。
imdb.keys()和我预期的一样。我会看看你的参考。谢谢!
标签: python google-cloud-platform rnn