Python 中 numpy.random.rand 与 numpy.random.randn 之间的区别

Question

numpy.random.rand 和numpy.random.randn 有什么区别？

从文档中，我知道它们之间的唯一区别是每个数字的概率分布，但整体结构（维度）和使用的数据类型（浮点数）是相同的。因此，我很难调试神经网络。

具体来说，我正在尝试重新实现Neural Network and Deep Learning book by Michael Nielson 中提供的神经网络。原代码可以在here找到。我的实现和原来的一样；但是，我改为在 init 函数中使用 numpy.random.rand 定义和初始化权重和偏差，而不是如原始所示的 numpy.random.randn 函数。

但是，我使用random.rand 初始化weights and biases 的代码不起作用。网络不会学习，权重和偏差不会改变。

导致这种怪异的两个随机函数之间有什么区别？

Answer 1

首先，正如您从文档中看到的那样，numpy.random.randn 从正态分布生成样本，而 numpy.random.rand 从均匀分布（在 [0,1) 范围内）生成样本。

第二，为什么均匀分布不起作用？主要原因是激活函数，尤其是在您使用 sigmoid 函数的情况下。 sigmoid 的图如下所示：

因此，您可以看到，如果您的输入远离 0，则函数的斜率会非常快地减小，因此您会得到微小的梯度和微小的权重更新。如果你有很多层 - 这些梯度在回传中会被多次相乘，所以即使是“正确”的梯度在乘法之后也会变小并且不再产生任何影响。因此，如果您有很多权重将您的输入带到这些区域，那么您的网络很难训练。这就是为什么通常的做法是在零值附近初始化网络变量。这样做是为了确保您获得合理的梯度（接近 1）来训练您的网络。

但是，均匀分布并不是完全不受欢迎的，您只需要将范围缩小并接近零。一种好的做法是使用 Xavier 初始化。在这种方法中，您可以使用以下方法初始化权重：

1. 正态分布。其中 mean 为 0，var = sqrt(2. / (in + out))，其中 in - 是神经元的输入数量，out - 输出数量。

2. 在[-sqrt(6. / (in + out)), +sqrt(6. / (in + out))]范围内均匀分布

Answer 2

• np.random.rand 用于均匀分布（在半开区间[0.0, 1.0)）
• np.random.randn 用于标准正态（又名高斯）分布（均值 0 和方差 1）

您可以非常轻松地直观地探索这两者之间的差异：

import numpy as np
import matplotlib.pyplot as plt

sample_size = 100000
uniform = np.random.rand(sample_size)
normal = np.random.randn(sample_size)

pdf, bins, patches = plt.hist(uniform, bins=20, range=(0, 1), density=True)
plt.title('rand: uniform')
plt.show()

pdf, bins, patches = plt.hist(normal, bins=20, range=(-4, 4), density=True)
plt.title('randn: normal')
plt.show()

哪些产品：

和

Answer 3

1) numpy.random.rand 来自 uniform（在 [0,1) 范围内）

2) numpy.random.randn 从正态分布

生成样本