gradDescent 包和 lm 功能不同答案

【问题标题】：gradDescent package and lm function differsgradDescent 包和 lm 功能不同
【发布时间】：2018-02-24 00:25:15
【问题描述】：

我对 R 中的 gradDescent package 有一个理解问题。假设我有一个包含一个自变量的数据集，我想对这个数据运行一个简单的线性回归，并使用批处理估计模型及其参数梯度下降（GD）算法。

例如，我正在使用here 中给出的数据集。第一列是自变量（X），第二列是因变量（Y）。

我为批量梯度下降算法编写了自己的 R 代码。我使用的学习率为 0.01，迭代次数为 1500。估计模型为 y = -3.630291 + 1.166362 x。参数的初始值都选择为1。

我还想检查我的代码是否正常工作。我使用 R 内置函数 lm 包进行比较。参数与R中线性回归函数给出的结果非常接近。所以在这种情况下，我们的梯度下降算法得到的线性回归模型是y=-3.896 + 1.193 x。

但是，最近，我发现了一个 R 包 gradDescent，我想看看它是如何工作的。使用相同的学习率和最大迭代次数，我得到了模型 y=-1.229567+0.9257195x 的结果（这些值在我每次运行时都会发生变化，因为我设置了 seed=NULL）。

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
    #convert data.frame dataSet in matrix
    dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
    #shuffle data train
    set.seed(seed)
    dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
    set.seed(NULL)
    #initialize theta
    theta <- getTheta(ncol(dataTrain), seed=seed)
    #bind 1 column to dataTrain
    dataTrain <- cbind(1, dataTrain)
    #parse dataTrain into input and output
    inputData <- dataTrain[,1:ncol(dataTrain)-1]
    outputData <- dataTrain[,ncol(dataTrain)]
    #temporary variables
    temporaryTheta <- matrix(ncol=length(theta), nrow=1)
    updateRule <- matrix(0, ncol=length(theta), nrow=1)
    #constant variables
    rowLength <- nrow(dataTrain)
    #loop the gradient descent
    for(iteration in 1:maxIter){
        error <- (inputData %*% t(theta)) - outputData
        for(column in 1:length(theta)){
            term <- error * inputData[,column]
            #calculate gradient
            gradient <- sum(term) / rowLength
            updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
            temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
        }
        #update all theta in the current iteration
        theta <- temporaryTheta
    }
    result <- theta
    return(result)
}

这里，getTheta 函数为，

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
    #create static random
    set.seed(seed)
    #random a value
    thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
    #clear static random
    set.seed(seed)
    #transform into matrix
result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
    return(result)
}

包随机选择初始值。此外，它会在运行 GD 算法之前对数据进行混洗。我玩了一会儿。我将参数的初始值分配为 1 并停止对数据进行混洗。但是我无法认真理解哪里出了问题（或正确），原因是我不能用我自己的 GD 代码和 R 的 lm 函数得到相同的结果。请有人解释一下吗？

install.packages("gradDescent")
library(gradDescent)

URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")

########## gradDescent Function ########## 
GD(data, alpha = 0.01, maxIter = 1500, seed = NULL)
#          [,1]      [,2]
#[1,] -1.312882 0.9281769

########## R bulit-in function ########## 
model <- lm(data$V2~ ., data = data)
model
#Call:
#  lm(formula = data$V2 ~ ., data = data)
#
#Coefficients:
#  (Intercept)           V1  
#       -3.896        1.193

注意：我可以提供我写的内容，但基本上，我试图理解为什么这个包比 lm 包提供更多不同的参数估计。

编辑：是因为代码中的那一行吗？

updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)

当第二个循环 (for(column in 1:length(theta))) 结束时，代码不会重置 updateRule 矩阵，而是不断将 (alpha*gradient) 添加到每次迭代中的矩阵。我错了吗？

当我在迭代中找到参数更新后将此 updateRule 矩阵重置为零时，我得到的模型 y = -3.570819 +1.160388 x 非常接近我所拥有的和 lm 包提供的模型。

编辑 2 我原来的帖子中提到了那个 gradDescent 包有什么问题。 updateRule 矩阵没有被重置。我只是在循环中添加了一行代码，并没有更改任何其他内容。 getTheta 和 GD 函数与发布包的作者相同。

我举两个例子来纠正它。我使用的第一个数据集带有一个自变量，第二个数据集带有两个自变量。对于这两个示例，我都使用随机生成的首字母缩写，这是包中的想法。对于第二个示例，我将数据归一化，因为输入变量的数量级不同。房屋面积（大小）大约是卧室数量的 1000 倍。

示例 1

URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
  #create static random
  set.seed(seed)
  #random a value
  thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
  #clear static random
  set.seed(seed)
  #transform into matrix
  result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
  return(result)
}

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
  #convert data.frame dataSet in matrix
  dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
  #shuffle data train
  set.seed(seed)
  dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
  set.seed(NULL)
  #initialize theta
  theta <- getTheta(ncol(dataTrain), seed=seed)
  #bind 1 column to dataTrain
  dataTrain <- cbind(1, dataTrain)
  #parse dataTrain into input and output
  inputData <- dataTrain[,1:ncol(dataTrain)-1]
  outputData <- dataTrain[,ncol(dataTrain)]
  #temporary variables
  temporaryTheta <- matrix(ncol=length(theta), nrow=1)
  updateRule <- matrix(0, ncol=length(theta), nrow=1)
  #constant variables
  rowLength <- nrow(dataTrain)
  #loop the gradient descent
  for(iteration in 1:maxIter){
    error <- (inputData %*% t(theta)) - outputData
    for(column in 1:length(theta)){
      term <- error * inputData[,column]
      #calculate gradient
      gradient <- sum(term) / rowLength
      updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
      temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
    }
    updateRule <- matrix(0, ncol=length(theta), nrow=1)
    #update all theta in the current iteration
    theta <- temporaryTheta
  }
  result <- theta
  return(result)
}

GD(data, alpha = 0.01, maxIter = 1500, seed = NULL)
#          [,1]    [,2]
#[1,] -3.602297 1.16355

########## R built-in lm function ########## 
model <- lm(data$V2~ ., data = data)
model
#Call:
#  lm(formula = data$V2 ~ ., data = data)
#
#Coefficients:
#  (Intercept)           V1  
#       -3.896        1.193

示例 2

data <- read.csv("https://raw.githubusercontent.com/ethen8181/machine-learning/master/linear_regression/housing.txt",
                 header = TRUE, 
                 sep = "," )

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
  #create static random
  set.seed(seed)
  #random a value
  thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
  #clear static random
  set.seed(seed)
  #transform into matrix
  result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
  return(result)
}

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
  #convert data.frame dataSet in matrix
  dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
  #shuffle data train
  set.seed(seed)
  dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
  set.seed(NULL)
  #initialize theta
  theta <- getTheta(ncol(dataTrain), seed=seed)
  #bind 1 column to dataTrain
  dataTrain <- cbind(1, dataTrain)
  #parse dataTrain into input and output
  inputData <- dataTrain[,1:ncol(dataTrain)-1]
  outputData <- dataTrain[,ncol(dataTrain)]
  #temporary variables
  temporaryTheta <- matrix(ncol=length(theta), nrow=1)
  updateRule <- matrix(0, ncol=length(theta), nrow=1)
  #constant variables
  rowLength <- nrow(dataTrain)
  #loop the gradient descent
  for(iteration in 1:maxIter){
    error <- (inputData %*% t(theta)) - outputData
    for(column in 1:length(theta)){
      term <- error * inputData[,column]
      #calculate gradient
      gradient <- sum(term) / rowLength
      updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
      temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
    }
    updateRule <- matrix(0, ncol=length(theta), nrow=1)
    #update all theta in the current iteration
    theta <- temporaryTheta
  }
  result <- theta
  return(result)
}

GD(data, alpha = 0.05, maxIter = 500, seed = NULL)
#         [,1]   [,2]      [,3]
#[1,] 340412.7 110630 -6648.375

########## R built-in lm function ########## 
housing <- read.csv("https://raw.githubusercontent.com/ethen8181/machine-learning/master/linear_regression/housing.txt",
                 header = TRUE, 
                 sep = "," )

normalized <- apply(housing[ , -3 ], 2, scale)
normalized_data <- data.frame(cbind(normalized, price = housing$price))
model <- lm( price ~ ., data = normalized_data)
model

#Call:
#  lm(formula = price ~ ., data = normalized_data)
#
#Coefficients:
#  (Intercept)         area     bedrooms  
#       340413       110631        -6649

【问题讨论】：

标签： r algorithm package lm gradient-descent

【解决方案1】：

我认为你是对的。我认为updateRule 的行就像一种动力。即，当前迭代中的变化方向（部分）保留在下一次迭代中。但是您不应该添加新的渐变，而是将您的updateRule 衰减，这样过去的任何错误方向都会随着迭代的进行而被冲走。

下面，我只更改了你的函数的一行。更新updateRule 时，我将其乘以 0.2。 0 和 1 之间的任何值也可以使用（但必须严格小于 1）。

另外，我增加了迭代次数。在我的系统中，我得到了：

##              [,1]     [,2]
##    [1,] -3.895781 1.193034

这与lm 的结果非常相似。

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
  #convert data.frame dataSet in matrix
  dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
  #shuffle data train
  set.seed(seed)
  dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
  set.seed(NULL)
  #initialize theta
  theta <- getTheta(ncol(dataTrain), seed=seed)
  #bind 1 column to dataTrain
  dataTrain <- cbind(1, dataTrain)
  #parse dataTrain into input and output
  inputData <- dataTrain[,1:ncol(dataTrain)-1]
  outputData <- dataTrain[,ncol(dataTrain)]
  #temporary variables
  temporaryTheta <- matrix(ncol=length(theta), nrow=1)
  updateRule <- matrix(0, ncol=length(theta), nrow=1)
  #constant variables
  rowLength <- nrow(dataTrain)
  #loop the gradient descent
  for(iteration in 1:maxIter){
    error <- (inputData %*% t(theta)) - outputData
    for(column in 1:length(theta)){
      term <- error * inputData[,column] 
      #calculate gradient
      gradient <- sum(term) / rowLength
      #updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
      updateRule[1,column] <- 0.2*updateRule[1,column] + (alpha*gradient)
      temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
    }
    #update all theta in the current iteration
    theta <- temporaryTheta
  }
  result <- theta
  return(result)
}

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
  #create static random
  set.seed(seed)
  #random a value
  thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
  #clear static random
  set.seed(seed)
  #transform into matrix
  result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
  return(result)
}

#install.packages("gradDescent")
library(gradDescent)

URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")

########## gradDescent Function ########## 
GD(data, alpha = 0.01, maxIter = 15000, seed = 1)


########## R bulit-in function ########## 
model <- lm(data$V2~ ., data = data)
model

【讨论】：

好的，谢谢！这不是我的包或功能。我还做了一个小改动，比如重置更新规则，现在我用 lm 包得到了类似的结果。我将编辑我的帖子并显示结果。

【解决方案2】：

我正在使用最新版本的 'gradDescent' 软件包（3.0 版本，于 2018-01-25 发布）。而且你指出的问题似乎已经解决了。

使用您示例中的数据，我可以使用 lm 模型获得类似的结果。

【讨论】：