10.3 单层前向神经网络
- 感知器的学习及工作能力十分有限，只在线性可分时才能学习工作。
- 对感知器模型作进一步推广，使它的应用范围更广泛。
- 推广可从以下3个方面：
- 1）推广感知器的整合函数
-
（2）推广感知器的学习分类方式。
-
可模糊化处理，分类时不要求百分之百正确，允许有一定的误差
-
这样推广后的感知器称为“模糊感知器”
-
（3）多个感知器相互连接，构成网络模型，
- 这种推广的模型称神经网络系统
- 这节讨论single layer feed-forwar neural networks）
- 权值矩阵
- 第j个神经元接收到
- 输出
-
下论线性网络。
-
激励函数取线性函数
- 每一个神经元满足
例题10.3.1
- 单个线性神经元识别异或
- 激励函数取
- 归结为求解方程组
- 无解，学习过程无法完成。
- 由此例题知，
- 对应单层线性神经网络，
- 由给定的输入，无法准确得到理想输出值。
- 按这个思路,单层线性神经网络可以完成学习过程
- 介绍单层线性神经网络学习的一种方法最小二乘法
- 2个神经元的单层线性神经网络为例
- 说明最小二乘法。
10.4 多层前向神经网络
- （multi-layer feed forward neural networks）
- 图10.4.1的神经网络有2层的神经元网络，
- 第i层神经元的输出是第i+1层神经元的输入。
- 同一层的神经元没有连接关系。
- 通过例题，
- 多层前向神经网络的功效优于单层网络。
-
数取阈值型函数，阀值取一个充分小的正
-
此网络能识别XOR
- 阈值型函数的多层前向神经网络有很强的分类能力,
- 但没有很好的学习方法
- 应用较少
- 采用线性函数的多层前向神经网络,
- 它的功效与单层线性神经网络的功效相当,
- 因此也无法解决复杂问题的分类或识别问题
- 用非线性函数的多层前向神经网络有强的解决问题,
- 常被用解决复杂问题。
- 非线性函数的多层前向神经网络的学习
-
m个输入
-
隐含层有k层
-
输出层有n个输出
-
激励函数取非线性函数
-
学习样本
- 神经元的实际输出值≠理想值
- 求出合适的权值,使输出值尽量接近理想值
-
上述学习规则可解释为
-
第k次迭代得到权值,
- 理解成正向传播,
- 输入的信息从输入层经隐含层逐层处理,传向输出层,
- 每一层神经元状态影响下一层神经元状态
-
第k+1次迭代得到一组权值,
- 理解成反向传播。
- 如果输出层没有得到预期的输出，则转入反向传播，
- 将误差信号沿原来的连接通路返回，
- 修改各层神经元的权值，使得误差信号最小。
-
上述学习规则称反推（back pro-pagation）规则，
- 简称BP规则。
- 收敛速度太慢,需成千上万迭代,
- 随着训练样例维数的增加,网络性能差
- 梯度最速下降法,有可能出现局部极小,
- 这样算法所求得的就不是问题的解,所以BP不完备
- 隐节点个数的选取没有理论指导
- 当有新样例加入时,将影响到已学习过的样例,
- 且要求刻画每个输入样例的特征数目相同