逻辑回归 - 计算成本函数返回错误结果答案

【问题标题】：Logistic regression - Calculating cost function returns wrong results逻辑回归 - 计算成本函数返回错误结果
【发布时间】：2015-09-28 07:42:41
【问题描述】：

我刚开始在 Coursera 上的 Machine Learning 上学习 Andrew Ng 的课程。第三周的题目是逻辑回归，所以我尝试实现下面的代价函数。

假设定义为：

其中 g 是 sigmoid 函数：

这就是我的函数目前的样子：

function [J, grad] = costFunction(theta, X, y)

m = length(y); % number of training examples
S = 0;
J = 0;

for i=1:m
    Yi = y(i);
    Xi = X(i,:);
    H = sigmoid(transpose(theta).*Xi);
    S = S + ((-Yi)*log(H)-((1-Yi)*log(1-H)));
end

J = S/m;

end

给定以下值

X = [magic(3) ; magic(3)];
y = [1 0 1 0 1 0]';
[j g] = costFunction([0 1 0]', X, y)

j 返回 0.6931 2.6067 0.6931，即使结果应该是 j = 2.6067。我假设 Xi 有问题，但我看不到错误。

如果有人能指出正确的方向，我将非常感激。

【问题讨论】：

标签： matlab machine-learning logistic-regression gradient-descent

【解决方案1】：

您应该将 sigmoid 函数应用于参数向量 (theta) 和输入向量（Xi，在本例中为行向量）的点积。所以，你应该改变

H = sigmoid(transpose(theta).*Xi);

到

H = sigmoid(theta' * Xi'); % or sigmoid(Xi * theta)

当然，您需要确保将偏置输入 1 添加到您的输入中（一行 1 到 X）。

接下来，考虑如何对整个操作进行矢量化处理，以便可以在没有任何循环的情况下编写它。这样会快很多。

【讨论】：

【解决方案2】：

function [J, grad] = costFunction(theta, X, y)
    m = length(y);
    J = 0;
    grad = zeros(size(theta));
    J=(1/m)*((-y'*(log(sigmoid(X*theta))))-((1-y)'*(log(1-(sigmoid(X*theta))))));
    grad=(1/m)*(X'*((sigmoid(X*theta))-y));
end

鉴于 sigmoid 函数运行良好，上述代码 sn-ps 对逻辑回归成本和梯度函数运行良好。

【讨论】：