长短期记忆 LSTM 论文笔记

这篇来自Hochreiter（1997）的经典论文整篇文章篇幅冗长，并无计划对外文版进行翻译工作。为了探寻LSTM的真实起源与精髓，在此我对文章内容进行了深入学习与个人理解的基础上形成了一些思考与总结。作为一名 still relatively初级的学习者所持的观点仅为个人观点仅供参考，在下有一些个人见解与总结恳请大家多多指证批评如有谬误之处恳请大家批评指正~

本文的主要动因在于探讨如何通过实验验证其有效性。作为一篇较为深入的研究文章，在此部分中我们主要探讨了基于传统激活函数与直接输入变换的方法对存储机制的影响及其局限性。具体而言，在此部分中我们总结道：传统的激活函数在经过缩放处理后会对存储的信息产生干扰（即信息难以实现长期存储）。引入更高阶单元虽然能够一定程度上缓解这一问题（即减少信息干扰），但目前这种解决方案尚不具备普适性）。

Real-world scenarios necessitate either the use of numerous free parameters or the application of high weight precision, rendering random guessing entirely impractical.现实世界中的问题要么依赖于使用大量自由参数，在这种情况下完全无法通过对随机初始化进行猜测来解决；要么依赖于极高的权重精