如何在python中实现小批量梯度下降？答案

【问题标题】：How to implement mini-batch gradient descent in python?如何在python中实现小批量梯度下降？
【发布时间】：2016-11-04 14:34:25
【问题描述】：

我刚刚开始学习深度学习。当谈到梯度下降时，我发现自己陷入了困境。我知道如何实现批量梯度下降。我知道它是如何工作的，以及小批量和随机梯度下降在理论上是如何工作的。但是实在看不懂怎么用代码实现。

import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
    layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
    layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
    layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
    layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
    synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
    synapse_0 -= (alpha * X.T.dot(layer_1_delta))

这是来自 ANDREW TRASK 博客的示例代码。它很小且易于理解。此代码实现批量梯度下降，但我想在此示例中实现小批量和随机梯度下降。我怎么能这样做？为了分别实现小批量和随机梯度下降，我必须在这段代码中添加/修改什么？你的帮助会对我有很大帮助。在此先感谢。（我知道这个示例代码的例子很少，而我需要将大数据集分成小批量。但我想知道如何实现它）

【问题讨论】：

只需在 for 循环中采样一个小批量，从而将原始 X 的名称更改为“wholeX”（以及 y）并在循环内部执行 X, y = sample(wholeX, wholeY, size)”，其中 sample 将是您的函数，从 wholeX、wholeY 中返回“大小”的随机行数
谢谢。正如您所说，我的函数将返回随机行，所以它不可能多次返回相同的行吗？会不会造成问题？如果我将另一个 for 循环放在一个 for 循环中并迭代它 n 次会怎样。（n = 小批量）。每次 X,y 都会不同。可以吗？如果没问题，那么它实际上如何改进优化？
不重复的随机抽样是一种典型的解决方案，鉴于 numpy.random 实现了这种抽样，这并不难实现。另一个 for 循环很好（虽然效率不高，因为 python 循环很慢）。优化的改进来自更多的数学原因，这里要表达的方式很长。简而言之，它以一种好的代价为您提供了许多错误的梯度估计，这使得优化更快
谢谢。转到更多数学内容。

标签： python machine-learning neural-network deep-learning gradient-descent

【解决方案1】：

这个函数返回给定输入和目标的小批量：

def iterate_minibatches(inputs, targets, batchsize, shuffle=False):
    assert inputs.shape[0] == targets.shape[0]
    if shuffle:
        indices = np.arange(inputs.shape[0])
        np.random.shuffle(indices)
    for start_idx in range(0, inputs.shape[0] - batchsize + 1, batchsize):
        if shuffle:
            excerpt = indices[start_idx:start_idx + batchsize]
        else:
            excerpt = slice(start_idx, start_idx + batchsize)
        yield inputs[excerpt], targets[excerpt]

这告诉你如何使用它进行训练：

for n in xrange(n_epochs):
    for batch in iterate_minibatches(X, Y, batch_size, shuffle=True):
        x_batch, y_batch = batch
        l_train, acc_train = f_train(x_batch, y_batch)

    l_val, acc_val = f_val(Xt, Yt)
    logging.info('epoch ' + str(n) + ' ,train_loss ' + str(l_train) + ' ,acc ' + str(acc_train) + ' ,val_loss ' + str(l_val) + ' ,acc ' + str(acc_val))

显然您需要根据您正在使用的优化库（例如 Lasagne、Keras）自己定义 f_train、f_val 和其他函数。

【讨论】：

谢谢..现在我明白了。

【解决方案2】：

以下函数返回（产生）小批量。它基于 Ash 提供的功能，但正确处理了最后一个 minibatch。

def iterate_minibatches(inputs, targets, batchsize, shuffle=False):
    assert inputs.shape[0] == targets.shape[0]
    if shuffle:
        indices = np.arange(inputs.shape[0])
        np.random.shuffle(indices)
    for start_idx in range(0, inputs.shape[0], batchsize):
        end_idx = min(start_idx + batchsize, inputs.shape[0])
        if shuffle:
            excerpt = indices[start_idx:end_idx]
        else:
            excerpt = slice(start_idx, end_idx)
        yield inputs[excerpt], targets[excerpt]

【讨论】：