TensorFlow 数据读取方法概述

读取数据（Reading data）

下一篇：tf.data 官方教程

推荐：如何构建高性能的输入 pipeline

TensorFlow中存在四种用于输入数据的途径：

• tf.data API ：该方式能够便捷地构建一个复杂的数据传输流程（pipeline），并被推荐作为首选的数据输入手段（在Eager模式下，必须依赖此API来建立数据输入流程）
• Feeding ：通过Python代码提供数据，并将其注入至计算图中进行处理。
• QueueRunner ：基于队列机制实现的数据输入方式（在计算图执行前从队列中读取数据）
• Preloaded data ：将数据集以constant常量的形式直接加载至计算图中（主要适用于规模较小的数据集）

文章结构概览

• 数据加载（Data loading）
  • 1. tf.data 接口
  • 2. 数据输入方式
  • 3. 队列运行器
    • 3.1 文件名管理、数据打乱及训练轮次限制

      • 3.2 文件类型

        • 3.2.1 CSV 格式文件
        • 3.2.2 固定长度记录
        • 3.2.3 标准 TensorFlow 数据格式

      • 3