机器翻译与注意力机制

注意力系统是用来模拟人类大脑观察行为的机制，在观察物体时会聚焦于那些特别引起兴趣的物体。

1. 引入注意力机制的目的：

1、计算能力的限制：随着模型复杂度的提升，在存储和处理数据方面的能力也随之增强。尽管如此，在实际应用中仍面临诸多技术瓶颈
2、优化算法的限制：通过采用局部连接、权重共享及池化等技术手段，在一定程度上能够降低网络结构的复杂性并提高其泛化性能；然而，在面对海量数据时仍存在明显的性能不足

2. 按照认知神经学中的注意力，可分为两类：

1. 聚焦点（focus）注意力：自上而下的有意注意——是一种以特定目标为驱动的任务相关专注力；
2. 显著性（saliency-based）注意力：自下而上的无意注意——由外部信号驱动的专注力无需人工干预且与任务无关；通过最大池化（max-pooling）和门控（gating）机制可模拟这种基于显著性的上下文处理方式；
3. 在人工神经网络领域中通常仅关注聚焦式（focus-based）的关注机制。

3. 注意力机制计算流程

注意机制旨在计算出所谓的"Attention Value