其实并不想写这篇文的,因为感觉没什么必要和含量,而且还是手写到笔记本上的,但是看了看好久没写博客了,所以决定扫描出来水一篇。

这段时间把CNN经典论文看了快十篇,然后开始转到NLP学习。那么就离不开LSTM,NG给的公式我觉得有问题所以找了下资料自己推了遍,Google的时候发现一个童鞋写的很不错,结合他的又整理了一下。建议看参考1的,因为他的字好看 :)

资料参考:

1. deeplearning.ai 第五课第一周编程作业第一部分 lstm 反向传播部分的公式更正及推导

2. LSTM-基本原理-前向传播与反向传播过程推导

手写推导(可以点开大图看):

1. FP:

2. BPTT: