rnn,cnn

http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/

按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。

lstm则是rnn的一种特例。

rnn在训练中会造成误差放大或者消失的现象，为了避免这个现象，引入lstm单元，保证误差是个恒量，也就是说既不会太大也不会太小。