【发布时间】:2018-06-25 09:37:59
【问题描述】:
我有一个在 inception_resnet 模型上训练的人脸识别模型。
当我运行我的 tensorflow 代码以在 Nvidia Jetson TX1 上加载经过训练的模型时,它只会输出“killed”。我该如何调试?
我能做什么?我想是因为内存问题!
【问题讨论】:
标签: tensorflow deep-learning nvidia
我有一个在 inception_resnet 模型上训练的人脸识别模型。
当我运行我的 tensorflow 代码以在 Nvidia Jetson TX1 上加载经过训练的模型时,它只会输出“killed”。我该如何调试?
我能做什么?我想是因为内存问题!
【问题讨论】:
标签: tensorflow deep-learning nvidia
根据 jetson 上的this issue 'killed' 表示内存不足。可能无法在 TX1 上运行 inception_resnet 模型。
【讨论】:
终于找到答案了!
如果您不设置 GPU 内存的最大比例,它会分配几乎整个空闲内存。我的问题是 GPU 内存不足。
你可以通过会话配置。
我将tf.GPUOptions中的per_process_gpu_memory_fraction配置设置为0.8,问题就解决了。
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.8)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
【讨论】:
你可以尝试减少batch_size的数量,比如从32减少到16,这样可以减少内存消耗,增加训练时间。
【讨论】: