LSTM with its variants

转载： http://colah.github.io/posts/2015-08-Understanding-LSTMs/

转载： https://zhuanlan.zhihu.com/p/32085405

 

LSTM：

1. 单个LSTM

2. 传递 step by step LSTM

3. pytorch code: 

输入三个变量：input h_0 c_0

输出三个变量：output h_n c_n

CLASS torch.nn.LSTM(*args, **kwargs)

GRU:

1. 单个GRU

2. pytorch code:

输入两个变量： input h_0

输出两个变量： output h_n

CLASS torch.nn.GRU(*args, **kwargs)