PyTorch 33: PyTorch DataLoader Num_workers 影响深度学习性能的瓶颈

PyTorch DataLoader多线程加速分析

• Speeding Up The Training Process

  • Optimal Value For The num_workers Attribute

  • • Testing Values For The num_workers Attribute

  • Different num_workers Values: Results

  • Interpreting The Results

  • Make It Go Faster With More Workers?

Speeding Up The Training Process

为提升训练效率，我们将采用DataLoader类中num_workers这一可配置参数。

num_workers参数用于指定数据加载器实例在执行数据加载任务时所启用的子进程数量。在默认设置下，该参数值被初始化为零，此时数据加载操作将在主进程中完成。

这表明训练流程将完全依赖主进程进行顺序执行。在训练过程中，当一批数据被使用后，需要获取下一批数据时，系统会从磁盘中读取相应的数据批次。

若启用了工作进程，则可以充分利用计算机中多个内核的计算能力。这意味着在主进程准备下一组数据时，其他工作进程已提前完成下一批数据的加载，并将其置于内存中等待调用。这种机制正