第四章：新版TensorFlow入门处理数据集

1、概述

在构建深度学习模型时，TensorFlow 对输入数据的格式有着严格且特定的规范。随着模型复杂度的提升，所需处理的数据规模往往呈指数级增长，这直接导致了传统的全量梯度下降算法在计算资源上的不可行性，因此批量梯度下降（Mini-batch Gradient Descent）成为了主流的训练策略。与此同时，为了提升模型的泛化能力并避免过拟合，确保训练过程中数据分布的随机性至关重要，这通常要求我们在每个批次中对数据进行充分的打乱与重组。鉴于此，高效且灵活的数据预处理管道成为了连接原始数据与模型训练的关键桥梁。TensorFlow 为此提供了一套完善且强大的数据输入 API，旨在帮助开发者轻松应对从数据加载、解析到批次化的一系列复杂任务，从而构建出稳健且高效的数据流。

2、数据源

在实际的人工智能工程落地场景中，数据源的接入方式主要取决于数据规模与存储形态，通常分为以下两类：

• 基于内存的数组读取：直接从 Numpy 数组或 Pandas DataFrame 中加载数据。这种方式适用于数据量适中、能够完全容纳在系统内存中的场景，具有极高的读取速度和便捷的随机访问能力。
• 基于文件的流式读取：从 CSV、TFRecord 等文件中逐行或逐块读取数据。当数据规模庞大，超出单机内存限制时，这种流式处理方式能够避免内存溢出，通过按需加载数据