深度学习关注机制DRAM(Deep Recurrent Attention Model)算法解析

Bálint, Jimmy, Volodymyr Mnih, and Koray Kavukcuoglu. “Multitopic object recognition incorporating visual attention mechanisms.” arXiv preprint arXIV:1412.7755 (2014).

思想

三位作者皆出自正值壮盛时期的Google DeepMind机构，在该领域的研究团队中具有重要地位的是三作Koray Kavukcuoglu先生。他因在AlphaGo相关论文中的卓越表现而广为人知。

本文处理的手势识别任务比较简单：从图像中辨识长短与位置均不固定的 handwritten 数字符号。然而这类问题涵盖了现代神经网络研究的主要前沿领域之一。

• 聚焦机制(Attention)：仅限于输入的有限细节，并且能够连续地调整视野。
• 循环神经网络(Recurrent NN)：能够在每一次时间步与输出之间存储信息。
• 增强学习(Reinforcement learning)：通过当前位置进行随机采样以探索潜在策略，在训练过程中根据非可微的奖励信号进行优化。

本文与前一篇介绍的RAM(Recurrent Visual Attention Model)算法具有较高的相似度，并特别强调其数学推导部分。对于读