Advertisement

PyTorch 并行训练极简演示文稿

阅读量：

刚刚掌握了PyTorch中并行训练的实现方式，现在我将提供一段极为简洁的PyTorch并行训练代码示例。期望尚未接触过相关内容的学习者能够在尽量减少新知识点学习的基础上，快速掌握并行训练的编写方法。

完整代码 main.py：

复制代码 
 import os

    
 import torch
    
 import torch.distributed as dist
    
 import torch.nn as nn
    
 import torch.optim as optim
    
 from torch.utils.data import Dataset, DataLoader
    
 from torch.utils.data.distributed import DistributedSampler
    
 from torch.nn.parallel import DistributedDataParallel
    
  
    
 def setup():
    
     dist.init_process_group('nccl')
    
  
    
  
    
 def cleanup():
    
     dist.destroy_process_group()

全部评论 (0)

还没有任何评论哟~

相关文章推荐