如何在python numpy中计算梯度

Question

我必须在 Numpy 中实现随机梯度下降。所以我必须定义这个函数 E 的梯度：

其中 f 和 g 也在图像中定义。 我不知道如何做到这一点，我尝试使用 Sympy 和 numdifftools 但这些库给了我一些错误。 如何写出函数 E 的梯度？ 谢谢

Answer 1

你是说这个吗？

import numpy as np

# G function
def g(x):
    return np.tanh(x/2)

# F function
def f(x, N, n, v, g):
    sumf = 0
    for j in range(1, N):
        sumi = 0
        for i in range(1, n):
            sumi += w[j, i]*x[i] - b[j]
        sumf += v[j]*g(sumi)

    return sumf