Understanding the Google Tensor2Tensor system: A comprehensive guide

作者：张金超，腾讯微信模式识别中心高级研究员。

导语： Google Tensor2Tensor系统是一套十分强大的深度学习系统，在多个任务上的表现非常抢眼。尤其在机器翻译问题上，单模型的表现就可以超过之前方法的集成模型。这一套系统的模型结构、训练和优化技巧等，可以被利用到公司的产品线上，直接转化成生产力。本文对Tensor2Tensor系统从模型到代码进行了全面的解析，期望能够给大家提供有用的信息。

第一章：概述

由Google Brain Team开发并在GitHub上开源的Tensor2Tensor（T2T）项目是一个基于TensorFlow的深度学习框架。该框架最初旨在通过全 attention机制来建模序列到序列（Seq2Seq）问题，并受到《Attention Is All You Need》这篇论文的影响。这一工作以'Transformer'这一富有创意的名字闻名。随着项目的逐步扩展，其支持的功能日益丰富多样，在包括图像分类、语言模型、情感分析、语音识别、文本摘要以及机器翻译等多个领域均表现出色，并且其收敛性和工程化实现均优于现有方案，在TF平台上的表现尤为突出。这是一个值得深入研究和广泛应用的系统

从工程应用的角度出发，在短时间内快速上手使用T2T系统，则需要对模型有基本的了解，并参考workthrough文档来完