Python深度学习模型利用Tensorflow 16框架支持Transformer架构的对话示例

文章结构概览

• • • 基础数据清洗
      • 生成数据词汇表
      • 确定分词工具并构建数据集
      • 设计Transformer架构并进行训练
      • 模型推理

Tensorflow 的核心特征在于其注意力机制，此前已做过详尽阐述，相关内容可参考：Python深度学习基于Tensorflow（9）注意力机制_tensorflow的各种注意力机制python代码-博客

基础数据清洗处理

若存在其他数据源则可跳过此步骤，但当前所用数据的表现却令人始料未及；

文献中提及的数据集来源不明，未作任何说明，相关对话信息被存储于两个独立文件中，分别为路径 ./data/movie_lines.txt 与路径 ./data/movie_conversations.txt

    import os
    
    def base_process(max_nums=50000, return_lines=False):
    """max_nums 用来限制 conversa