Advertisement

第10章基于TensorFlow的图像处理(第二部分):Dataset API

阅读量:

10.6全新的数据读取方式——Dataset API

Dataset API 是Tensorflow中的一种新增型的数据取值模式 ,这种机制能够通过简单的组件重用来构建复杂的Inference Pipeline。(Pipeline意为流水线)
该API主要用于负责从各种来源提取高质量的数据,并提供灵活的支持来处理海量复杂的数据转换过程。

10.6.1 Dataset API架构

DataSet API中最关键的两大核心组件:Dataset和Iterator,在数据处理体系中, Dataset 实际上就是一种具有组织性的数据集合,在实际应用场景中,每个成员(成员)都可以是一个向量、字符串、图片甚至是一组元组或字典。

为了从dataset中获取其元素的方法是什么?该方法是首先从Dataset对象中创建一个Iterator实例(迭代器是一种遍历所有元素的机制),接着通过迭代该Iterator来完成数据的获取。

下面我们对Dataset API中的两个基础类做进一步说明。

1.tf.data.Dataset
tf.data.Dataset表示一串元素(elements),其中每个元素包含了一个或者多个Tensor对象(张量,多维数组)。例如:在一个图片Pipeline中,一个元素可以是单个训练样本,该样本带有一个表示图像数据的tensor

全部评论 (0)

还没有任何评论哟~