Python深度学习：Tensor的存储结构及其实现——内存优化策略及as_strided技术；内存连续化处理

python深度学习

Python深度学习

• 1. Tensor对象中的元数据信息与数据存储区域
  • • 1.1 Tensor对象中的元数据信息
    • 1.2 数据存储区域
    • 1.3 提供获取Tensor详细信息的代码示例

该方法利用Stride、storage_offset以及as_strided函数实现内存优化。 2.1 Stride和storage_offset遵循不复制数据的原则以实现高效操作； 2.2 示例代码块——通过as_strived函数创建高级视图对象以提升数据处理效率

• 3. 内存紧凑化方法contiguous

1. tensor的元数据（metadata）和存储区（storage）

PyTorch中的Tensor内部存储架构划分为两部分——元数据块（metadata blocks）和内存区域（storage region）。

1.1 元数据（metadata）

元数据中包含以下信息:

• 维度（dimension）也叫大小(size)，它表示张量的各个轴的空间长度。
• 数据类型（data type）由 dtype 表示。
• 硬件设备（hardware device）用于运行计算任务。
• 步长 stride 表示在内存中从当前元素到下一个元素所需的移动位置数。
• 内存偏移 storage_o