TensorFlow imports data (part/section 3)

1、概述

在从文件中读取数据的过程中，通常需要进行数据转换操作，尤其是在处理多维数据时，若采用文件形式进行存储，除tfrecord格式外，其他存储方式往往难以满足需求。因此，实际从文件中加载的数据必须经过相应的转换处理后才能被有效利用。此外，在基于小批次梯度下降机制的tensorflow框架中，数据的随机化及分批处理也是必不可少的步骤。本文将重点探讨上述相关问题。

2、使用Dataset.map() 预处理数据

Dataset.map(f) 转换机制的核心在于将特定函数 f 作用于输入数据集中的每一个元素，从而构造出一个新的数据集。该操作借鉴了 map() 函数的实现方式，这种函数在函数式编程语言中常用于处理列表及其他数据结构。函数 f 的作用对象是代表输入元素的 tf.Tensor 实例，并最终生成对应新数据集元素的 tf.Tensor 实例。该过程通过运用 TensorFlow 提供的标准指令，实现对单个元素到另一个元素的转换。

以下以自然语言处理领域中的词嵌入为例进行说明。在我们所存储的原始语料库中，包含了一些关键词及其对应的标识符。为了观察数据的基本结构，可以采用如下代码进行查看：

 # 从CSV文件中读取数据

    
 import pandas as pd
    
 data = pd.read_csv('cutword_th