有趣的深度学习——BERT 生成古体诗

前言

前段时间尝试利用RNN开发了一个古体诗生成器（有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器）的NLP小项目，仅供娱乐。而如今谈及NLP领域，几乎无法避开Transformers系列模型，例如BERT、GPT-2、RoBERTa、ALBERT以及XLNet等。这些Transformers模型在各类NLP任务中持续取得突破性进展，其表现普遍优于传统基于RNN的NLP方法。

既然先前已经使用RNN实现了古体诗生成器，那么不妨也借助BERT来构建一个类似的模型，以此进行效果上的对比分析。

转载请注明原始出处：<>

解读

代码架构及其实现功能可参考有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器()基本上相同，只是将模型从RNN换成了BERT，注释也很详细，感觉没有解读的必要了。

通过比对这两份资料，即可明确相关细节：

有关RNN模型的详尽说明文档：使用TensorFlow 2.0 + RNN 实现一个古体诗生成器

采用BERT模型构建的项目代码（即当前项目的开发源码）：[DeepLearningExamples/keras-bert-poetry-generator](https://github.com/AaronJny/DeepLearningE