TensorFlow 高效数据输入管道开发参考

TensorFlow版本：1.12.0

本篇主要介绍怎么使用 tf.data API 来构建高性能的输入 pipeline。

tf.data官方教程可参考前面的文章<<<<

文章目录

• 1. 数据输入管道架构

  • 2. 数据输入管道优化性能
  • • 2.1 数据准备（ET）与耗能过程（L）分离 ------ 前馈机制解耦及前后衔接处理
  • 2.2 数据转换环节（T）的多线程处理 ------ 综合应用映射与批量处理技术
  • 2.3 数据解析阶段（E）的多线程处理 ------ 同时完成多份文件的数据解析工作流程

• 3. 数据输入管道性能的优化升级

  • 3.1 当map操作的开销较小时——采用批处理模式会更高效

  • 3.2 在引入缓存机制的基础上——进一步提升了数据处理效率

  • 3.3 不同变换顺序对内存占用的影响分析——探讨各种变换方式的特点及适用场景

  • 3.4 在执行重复操作的基础上优先进行随机化洗牌——这种顺序安排能显著提高系统性能

  • 4. 数据输入管道的最优实现

GPU和TPU的应用本质上能够显著降低每个训练步骤所需的时间。然而优异性能不仅依赖于高速计算硬件还要求一个高效的输入管道（Input Pipeline Performance Guide）。该管道必须在当前步骤