【问题标题】:Keras model.predict with sigmoid activation and binary cross entropy returns only 0 or 1, not probability具有 sigmoid 激活和二元交叉熵的 Keras model.predict 仅返回 0 或 1,而不是概率
【发布时间】:2020-02-06 12:37:49
【问题描述】:

我正在 Keras 中构建具有重叠类预测的 NN。据我了解,“sigmoid”激活函数应该返回属于某个类的概率。但是,当我尝试使用 model.predict(...) 时,它只返回零或一。你能告诉我哪里出了问题以及我如何获得属于某个班级的概率吗?

input_stock = Input(shape=input_shape,dtype='float32')  
stock_data= Conv2D(32, (1,5), padding='same', activation='relu')(input_stock)
stock_data = MaxPooling2D((1,2),strides=(1,2))(stock_data)
stock_data= Conv2D(8, (1,5), padding='same', activation='relu')(stock_data)
stock_data = MaxPooling2D((1,5),strides=(1,5))(stock_data)
stock_data= Conv2D(8, (154,5), padding='same', activation='relu')(stock_data)
stock_data = MaxPooling2D((1,2),strides=(1,2))(stock_data)

stock_data=Flatten()(stock_data)
stock_data=Dropout(.5)(stock_data)
output_layer = Dense(maxnumassets, activation='sigmoid')(stock_data)


model = Model(inputs=input_stock, outputs=output_layer)



return model

Output of model.predict (there are 150 classes), looks like below. 

array([[1., 1., 0., 0., 1., 1., 0., 1., 0., 0., 0., 1., 0., 1., 1., 1.,
        0., 0., 1., 1., 0., 0., 1., 0., 0., 1., 0., 0., 0., 0., 1., 0.,
        0., 1., 0., 0., 1., 1., 1., 1., 0., 1., 1., 0., 0., 0., 0., 1.,
        0., 1., 1., 1., 1., 1., 0., 0., 0., 0., 1., 1., 1., 0., 0., 1.,
        0., 0., 0., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 1.,
        1., 1., 0., 0., 1., 1., 1., 0., 0., 0., 1., 0., 1., 0., 0., 0.,
        1., 1., 1., 0., 0., 0., 1., 0., 1., 0., 1., 1., 1., 0., 1., 1.,
        0., 0., 1., 1., 1., 0., 0., 0., 0., 1., 1., 0., 1., 1., 1., 1.,
        0., 0., 0., 1., 1., 0., 0., 0., 1., 0., 1., 0., 1., 0., 1., 1.,
        1., 1., 0., 0., 0., 0.]], dtype=float32)'''

Dimensions of the data are as follows:

train (715, 150, 100, 2)
ytrain (715, 150)
xtest (80, 150, 100, 2)
ytest (80, 150)

【问题讨论】:

    标签: python machine-learning keras deep-learning keras-layer


    【解决方案1】:

    如果您只是直接使用model.predict(xtest),那么您的代码通常会给出 0 和 1 以外的值,参见。下面的示例只是将您的模型应用于随机数据。

    如果你的不是,可能是你过拟合了,或者你的模型只是完美地拟合了你的数据。尝试将model.predict 应用于与您的数据无关的数组。

    另一件似乎不对的事情是,您在示例输出中给出了一个形状为(1, 150) 的数组,但如果xtest.shape 确实是(80, 150, 100, 2),那么model.predict(xtest).shape 就是(80, 150)

    input_shape = (150, 100, 2)
    maxnumassets = 150
    input_stock = Input(shape=input_shape,dtype='float32')
    stock_data = Conv2D(32, (1,5), padding='same', activation='relu')(input_stock)
    stock_data = MaxPooling2D((1,2),strides=(1,2))(stock_data)
    stock_data = Conv2D(8, (1,5), padding='same', activation='relu')(stock_data)
    stock_data = MaxPooling2D((1,5),strides=(1,5))(stock_data)
    stock_data = Conv2D(8, (154,5), padding='same', activation='relu')(stock_data)
    stock_data = MaxPooling2D((1,2),strides=(1,2))(stock_data)
    stock_data = Flatten()(stock_data)
    stock_data = Dropout(.5)(stock_data)
    output_layer = Dense(maxnumassets, activation='sigmoid')(stock_data)
    
    model = Model(inputs=input_stock, outputs=output_layer)
    train = np.random.uniform(size=(775, 150, 100, 2))
    ytrain = np.random.uniform(size=(775, 150))
    xtest = np.random.uniform(size=(80, 150, 100, 2))
    ytest = np.random.uniform(size=(80, 150))
    
    model.compile('adam', 'mse')
    model.fit(train, ytrain)
    model.predict(xtest)
    

    输出:

    array([[0.50180054, 0.49852884, 0.49954456, ..., 0.4990623 , 0.49985167,
            0.4994816 ],
           [0.50180054, 0.49852884, 0.49954456, ..., 0.4990623 , 0.49985167,
            0.4994816 ],
           [0.50180054, 0.49852884, 0.49954456, ..., 0.4990623 , 0.49985167,
            0.4994816 ],
           ...,
           [0.50180054, 0.49852884, 0.49954456, ..., 0.4990623 , 0.49985167,
            0.4994816 ],
           [0.50180054, 0.49852884, 0.49954456, ..., 0.4990623 , 0.49985167,
            0.4994816 ],
           [0.50180054, 0.49852884, 0.49954456, ..., 0.4990623 , 0.49985167,
            0.4994816 ]], dtype=float32)
    

    【讨论】:

    • 我实际上只是像这样传递了一个 X_test 样本:model.predict(fulltensor[109:110,:,:,:])
    • 另外,为什么你的模型使用 mse 作为损失函数?我正在使用 binary_crossentropy 损失,我认为它适用于 sigmoid。我错了吗?
    • 这是多标签问题,忘记添加了。
    • 任何目标函数都会发生相同的行为;修改上面的示例以改用'binary_crossentropy',这样也可以。当您说这是一个多标签问题时,您实际上是在尝试预测标签吗?如果是这样,并且你想得到一些可以解释为概率的东西,你可能想改用 softmax 之类的东西(它通过泊松回归中的最大似然自然地显示出来)。
    • 我正在尝试预测标签的概率,我对一个标签不感兴趣,而是对不同标签的概率感兴趣,给定 X 中的一个样本。我明白你的意思,但不会有问题我猜我的数据,因为代码应该给出概率。将尝试进一步清理数据并报告。
    猜你喜欢
    • 2018-07-15
    • 2018-07-15
    • 2021-11-25
    • 2019-07-13
    • 2018-11-03
    • 2018-01-31
    • 2018-03-12
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多