使用神经网络进行文本分类答案

【问题标题】：Text Classification Using Neural Network使用神经网络进行文本分类
【发布时间】：2018-07-26 01:29:11
【问题描述】：

我是机器学习和神经网络的新手。我正在尝试从头开始使用神经网络进行文本分类。在我的数据集中，有 7500 个文档，每个文档都标有七个类别之一。大约有 5800 个独特的单词。我正在使用一个具有 4000 个神经元的隐藏层。使用 sigmoid 激活函数。学习率=0.1，无辍学。

在训练期间大约 2 到 3 个 epoch 后，显示警告：

RuntimeWarning：exp.The 结果输出列表中遇到溢出显示为：

[  0.00000000e+00   0.00000000e+00   0.00000000e+00   0.00000000e+00
   0.00000000e+00   0.00000000e+00   4.11701866e-10]  for every input except 4.11701866e-10.

sigmoid 函数：

def sigmoid(x):    
   output = 1/(1+np.exp(-x))
   return output

def sigmoid_output_to_derivative(output):
   return output*(1-output)

如何解决这个问题？我可以使用不同的激活函数吗？

这是我的完整代码： https://gist.github.com/coding37/a5705142fe1943b93a8cef4988b3ba5f

【问题讨论】：

标签： python machine-learning neural-network classification activation-function

【解决方案1】：

给出一个准确的答案并不容易，因为问题可能是多方面的，而且很难重构，但我会试一试：

因此，您似乎遇到了下溢，这意味着您的神经元的权重会将您的输入向量 x 缩放到将导致 sigmoid 函数中的值为零的值。一个天真的建议是将精度从 float32 提高到 float64，但我猜你已经达到了那个精度。

您是否尝试过学习率和/或尝试过自适应学习率？（有关一些示例，请参阅https://towardsdatascience.com/learning-rate-schedules-and-adaptive-learning-rate-methods-for-deep-learning-2c8f433990d1）。尝试以较低的学习率进行更多迭代。

另外：您是否在输出层中使用了 sigmoid 函数？增加的非线性可能会使您的神经元进入饱和状态，即您的问题。

您检查过渐变吗？这有时也有助于追踪错误 (http://ufldl.stanford.edu/wiki/index.php/Gradient_checking_and_advanced_optimization)。

或者，如果您的训练通过使用其他激活函数得到改善，您也可以尝试，例如一开始是线性的。

【讨论】：

能把完整的代码贴在这里，有助于理解问题
如果我增加或减少隐藏层的神经元数量，对错误率有何影响？？
很难说...如果你不使用正则化，更多的神经元会使网络容易过度拟合 (en.wikipedia.org/wiki/Overfitting)。减少神经元的数量可能会使网络的表达能力不足以完成手头的任务。

【解决方案2】：

由于机器学习中的概率往往非常小，并且对它们的计算会导致更小的值（导致下溢错误），因此使用对数值进行计算是一种很好的做法。。 p>

使用 float64 类型也不错，但最终也会失败。

因此，您应该添加它们的对数值，而不是乘以两个小概率。 exp() 等其他操作也是如此。

我知道的每个机器学习框架要么默认返回对数模型参数，要么有一个方法。或者你只是使用你内置的数学函数。

【讨论】：