关于逻辑回归和线性回归的问题答案

【问题标题】：Questions on logistic and linear regression关于逻辑回归和线性回归的问题
【发布时间】：2020-07-03 05:11:03
【问题描述】：

我正在尝试理解逻辑回归和线性回归，并且能够理解其背后的理论（学习安德鲁课程）。

我们有 X -> 给定特征 -> (m , n+1) 的矩阵，其中 m - 没有。给定的案例和 n 个特征（不包括 x0）

我们有 y -> 要预测的标签 -> (m,1) 的矩阵

现在，当我在 python 中从头开始实现它时，我很困惑为什么我们在 sigmoid 函数中使用 theta 的转置。

我们也使用 theta transpose X 进行线性回归。

我们在编码时不必在任何地方执行矩阵乘法，它的直接元素到元素编码，转置需要什么或者我的理解错误，我们需要在实现过程中进行矩阵乘法。

我主要担心的是，我对我们在哪里进行矩阵乘法以及在逻辑和线性回归中在哪里进行元素乘法感到非常困惑

【问题讨论】：

符号AB，其中A和B是矩阵或向量，通常表示普通矩阵乘法。像 A * B 这样的符号是 Hadamard 乘积 - 相等大小矩阵的元素乘法。在您的情况下，这是简单的矩阵乘法，而不是“元素到元素编码”。
这可能更适合stats.stackexchange.com。

【解决方案1】：

对于矩阵乘法，第一个元素中的列数必须等于第二个元素中的行数。由于您的乘法元素之一具有一列或一行，因此由于其简单性，它似乎不是矩阵乘法。但它仍然是矩阵乘法

让我举个例子，

设A 为 (m,n) 矩阵我们可以执行标量乘法，对于实数中的一些固定a 如果我们想将A 与某个向量x 相乘，我们需要满足一些限制条件。这里很常见将dot product 误认为是矩阵乘法，但它们完全用于不同的目的。

因此，我们将 (m,n) 矩阵 A 乘以向量 x 的限制是 x 具有 与 A 具有列数相同的条目数例如，需要转置的元素之一。

【讨论】：

【解决方案2】：

你对这个领域有点跑题了，但你似乎很感兴趣的是 x 和 Theta 的处理。

在您描述的用例中，x 是输入向量，或“特征向量”。 Theta 向量是系数向量。两者通常都表示为列向量，当然，必须具有相同的维度。

因此，要“进行预测”，您需要这两者的内积，并且输出需要是标量（根据内积的定义），因此您需要将 theta 向量转置为为了正确表达该操作，这是两个向量的矩阵乘法。有意义吗？

【讨论】：