研究和比较Transformer及BERT模型

Transformer 与BERT模型

• 1. Transformer
  • • 1.1 序列到序列任务与Encoder-Decoder框架
    • 1.2 Transformer的优势
    • 1.3 Transformer的框架原理
    • 参考链接

  • 2. BERT

  • • 参考链接：

Task 10

1. Transformer的工作机制。
2. BERT的工作机制。
3. 借助预先训练完成的BERT模型，将文本信息转化为对应的句向量，从而实现对文本内容的分类处理。

参考：

transformer github实现：https://github.com/Kyubyong/transformer

transformer pytorch分步实现：http://nlp.seas.harvard.edu/2018/04/03/attention.html

深入理解Transformer结构，可参考这篇PyTorch实现：https://www.tinymind.cn/articles/3834

“变形金刚”为何具有强大性能：全面解析Google Tensor2Tensor系统：https://segmentfault.com/a/1190000015575985

bert理论：