实现 softmax 回归答案

【问题标题】：Implementing softmax regression实现 softmax 回归
【发布时间】：2016-10-11 23:03:12
【问题描述】：

我正在尝试使用 softmax 回归制作神经网络。我正在使用以下回归公式：

假设我有一个 1000x100 的输入。换句话说，假设我有 1000 张图像，每个图像的尺寸为 10x10。现在，假设图像是来自 A、B、C、D、E、F、G、H、I、J 的字母的图像，我正试图预测这一点。我的设计如下：有 100 个输入（每个图像）和 10 个输出。

我有以下疑问。鉴于 n 是 x^n 中的上标，关于分子，我是否应该执行 w 的点积（w = 权重，其维度为 10x100 - 10 代表输出数量，100 代表输入数量）和单个x（单个图像）或所有想象的组合（1000x100）？我在 python 中编码，所以如果我做 w 和 x^T 的点积（10x100 点 100x1000），那么我不确定如何使它成为指数。我正在使用 numpy。我很难围绕这些矩阵来思考如何将它们提升为指数。

【问题讨论】：

1) x^n 代表上一层所有节点的输出；它不是指数。 w_i 表示softmax层中节点i的权重向量。 2) 点积将始终使用 2 个相同大小的向量执行。 Here is my implementation 如果您想看一下，请从一段时间前开始

标签： python neural-network softmax

【解决方案1】：

如果您正在训练神经网络，我们不妨看看Theano 库。它具有各种输出阈值函数，如 tanh、softmax 等，并允许在 GPU 上训练神经网络。

x^n 也是上面公式中最后一层的输出，而不是某个指数的输入。你不能把矩阵放在指数中。

您应该查看更多有关 softmax 回归的信息。 This 可能会有所帮助。

【讨论】：