深度学习笔记基于双向RNN（LSTM GRU）结合注意力机制的句子对匹配方法

此前我们已经采用了Word2vec与Doc2vec模型来实现句子对比的技术，并且也基于现有的机器学习方法实现了类似的对比功能。本文重点阐述了基于双向RNN（包括LSTM与GRU两种模型）以及Attention Mechanism的先进的句子对比方法。

首先来看一下什么叫句子对匹配：

句子对匹配（Sentence Pair Matching）问题是自然语言处理（NLP）领域中一类重要的基础性问题。所谓"句子对匹配"问题就是给定两个句子S₁和S₂，请判断这两个句子之间是否存在某种特定的关系类型。从形式化的角度来看这个问题，则可以认为其任务目标是判断这两个句子是否具备某种类型的关系特征。

给定两个句子的目标是学习一个映射函数，在输入为两个句子配对的情况下通过该映射函数进行变换得到输出为任务分类标签集合中的某一类标签。最常见的案例即是Paraphrase任务即判断两个句子是否存在语义等价性因此其分类标签集合为{等价 不等价}的二元集合除此之外还有很多其他类型的任务都属于句子配对匹配范畴例如问答系统中对相似问题的匹配以及Answer Selection机制的应用

接下来我们来看一下深度学习中都