详细涵盖NLP/Transformer/BERT/Self-Attention面试题及答案

这是我在两个周末期间精心整理与筛选的内容，或许可以称得上是迄今为止最为详尽的自然语言处理（NLP）面试问题及（部分）答案汇总，重点聚焦于当前NLP领域核心的Transformer、BERT、后BERT时代以及Self Attention机制。

所挑选的问题将深入探讨算法与模型的细节之处，尽量避免那些宽泛而不具针对性的问题。希望通过这份资料，能够进一步加深你对Transformer与BERT的理解，当然这也要求你对上述算法和模型具备一定的基础认知，主要包括以下两部分内容（关于后BERT模型的相关内容可自行查阅）：

1、论文：论文是最为直接和权威的信息来源，避免了各种解读带来的干扰

Transformer: Attention Is All You Need

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

2、源码：在你阅读完源码之后，对于BERT的理解将更加透彻

[Transformer Pytorch源码](https://github.com/jadore801120/attention-is-