【问题标题】:getting error with softmax and cross entropy in theano在theano中使用softmax和交叉熵出错
【发布时间】:2015-02-09 20:34:08
【问题描述】:

我正在使用 Theano 实现 DNN。在 DNN 的最后一层,我使用了一个 softmax 作为来自 theano.tensor.nnet.softmax 的非线性函数

作为一个丢失的函数,我使用来自T.nnet.binary_crossentropy 的交叉熵 但我得到一个奇怪的错误: "编译节点时出现以下错误',GpuDnnSoftmaxGrad{tensor_format='bc01' ..."

我是 theano 的新手,无法弄清楚这个模型有什么问题。感谢您的帮助 PS:我的猜测是它与 softmax 采用 2D 张量并返回 2D 张量这一事实有某种关系。

PS2:我正在使用最先进的 Theano(刚刚克隆)我的 CUDA 版本是旧的,它是 4.2 但我几乎可以肯定这不是问题,因为我使用其他基于 DNN 工具编写的 DNN 工具没有错误西阿诺。 我正在使用 pylearn2 来加速,这也不是问题,因为我已经在另一个 DNN 中成功地将它与当前的 Theano 和 CUDA 一起使用。

错误发生在这一行:train= theano.function([idx], train_loss, givens=givens, updates=updates)

完整的错误信息是: cmodule.py", line 293, in dlimport rval = __import__(module_name, {}, {}, [module_name]) RuntimeError: ('The following error happened while compiling the node', GpuDnnSoftmaxGrad{tensor_format='bc01', mode='channel', algo='accurate'}(GpuContiguous.0, GpuContiguous.0), '\n', 'could not create cuDNN handle: The handle was not initialized(Is your driver recent enought?).', "[GpuDnnSoftmaxGrad{tensor_format='bc01', mode='channel', algo='accurate'}(<CudaNdarrayType(float32, (False, False, True, True))>, <CudaNdarrayType(float32, (False, False, True, True))>)]")

我使用的交叉熵函数定义为: error = T.mean(T.nnet.binary_crossentropy(input, target_y) 其中 input 是 softmax 层的输出,target_y 是标签。

【问题讨论】:

  • 首先确保再次将 Theano 更新到 dev 版本(您已经使用 dev 版本)。也许它已经修复了。如果这样做有效,我们需要完整的错误消息。您拥有的 sn-p 缺少关键信息,例如导致编译失败的原因。
  • 已解决。我不得不使用 T.nnet.categorical_crossentropy 因为我的目标变量是一个整数向量。
  • @TNM 请发表您的评论作为答案。

标签: python theano softmax


【解决方案1】:

解决了。我不得不使用 T.nnet.categorical_crossentropy 因为我的目标变量是一个整数向量。

【讨论】:

    猜你喜欢
    • 2017-12-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-08-07
    • 1970-01-01
    • 2019-09-04
    相关资源
    最近更新 更多