逻辑梯度下降在 Python fmin_tnc 中不收敛

Question

我一直在学习在 python 中实现逻辑梯度下降的教程。
这是链接： http://www.johnwittenauer.net/machine-learning-exercises-in-python-part-3/

他的 ipython 笔记本 github 用于此特定练习：
https://github.com/jdwittenauer/ipython-notebooks/blob/master/notebooks/ml/ML-Exercise2.ipynb

这是我解决这个问题的代码：

import pandas as pd
import matplotlib.pylab as plt
import numpy as np
import scipy.optimize as opt  


def sigmoid(Z):
    '''Compute the sigmoid function '''
    return 1.0 / (1.0 + np.exp( -1.0 * Z))

###########################################


def compute_cost(theta,X,y, learningRate):
   '''compute cost given '''

    theta = np.matrix(theta)
    X = np.matrix(X)
    y = np.matrix(y)
    m = y.size
    theta0 = np.zeros((1,X.shape[1]))
    theta0[0,1:] = theta[0,1:]    

    reg = np.dot((learningRate/2*m),(theta0.T.dot(theta0))) 

    Z = X.dot(theta.T)

    hypothesis = sigmoid(Z)  
    exp1 = (-y.T.dot(np.log(hypothesis)))
    exp2 = ((1.0 - y).T.dot(np.log(1.0 - hypothesis)))    
    J = (exp1  - exp2).dot(1/m) 

    return J.sum() + reg.sum() 



def grad(theta,X,y,learningRate):    

    theta = theta.T          
    X = np.matrix(X)
    y = np.matrix(y)
    m = y.shape[0]
    theta0 = np.zeros(X.shape[1])      
    theta0[1:] = theta[1:]    
    theta = np.matrix(theta)    
    theta0 = np.matrix(theta0)

    reg = np.dot(learningRate / m, theta)

    Z = X.dot(theta.T)    
    hypothesis = sigmoid(Z)      
    error = hypothesis - y        
    grad =  np.dot((X.T.dot(error).flatten()),1/m)  + reg
    grad= grad.flatten()  
    grad          

##
def predict(theta, X):    
    probability = sigmoid(X * theta.T)
    return [1 if (x >= 0.5) else 0 for x in probability]  

以下是代码的调用方式：
data2 = pd.read_csv('ex2data2.txt', header=None, names=['Test 1', 'Test 2', 'Accepted'])

y = data2[data2.columns[-1]].as_matrix()
m = len(y)
y = y.reshape(m, 1)
X = data2[data2.columns[:-1]]
X = X.as_matrix()
_lambda = 1

from sklearn.preprocessing import PolynomialFeatures

#Get all high order parameters
feature_mapper = PolynomialFeatures(degree=6)
X = feature_mapper.fit_transform(X)

# convert to numpy arrays and initalize the parameter array theta

theta = np.zeros(X.shape[1])

learningRate = 1

compute_cost(theta, X, y, learningRate)        

result = opt.fmin_tnc(func=compute_cost,x0=theta,fprime=grad,args=    (X,y,learningRate))

对于一个变量，一切都很好，但更多的功能（练习 2）效果不佳。在使用优化梯度下降函数 (fmin_tnc) 之前，一切都完全相同。
不知何故，甚至他的代码也没有收敛到预期值。这是他的博客示例，显示了 fmin_tnc 的结果

但是如果你按照他的代码的每一步，你会得到以下结果：

嗯，你可以看到它有点不同。但我在他的代码中发现了不同的东西。他删除了 2 列“测试 1”和“测试 2”，只保留高阶参数。这感觉很奇怪，因为在 Andrew Ng 的解决方案中，他没有删除表格的任何列，而是使用了 28 个特征。这个仅使用 11 个功能。我找到了其他代码，我希望我的 cost_function 和梯度函数能够工作。我相信他们陷入了某个局部最小值，并且没有收敛。
我的最后一次尝试是使用所有 28 个功能，就像 Andrew 的 dataFrame 一样。遗憾的是，我得到了不同的结果，如下所示：

如您所见，我的准确率更高，但我的成本仍然高于预期，即：0.52900
我的意图不是降低博客的代码质量。我仍在按照他在其他教程中的步骤进行操作，这似乎是一个很好的来源。
下面是我的代码的链接，我正在像他一样使用 fmin_tnc。我刚刚创建了一个更加矢量化的梯度函数。文件名称为 Logistic Regression Regularized.py

Github：https://github.com/vinipachecov/Machine-Learning/tree/master/Logistic%20Regression

Answer 1

问题是我使用的是 python 3.6 而作者使用的是 python 2.7.X。将版本更改为 python 2.7.13 解决了这个问题。