分布式训练多机（节点）数据并行的数据划分DistributedSampler

阅读量：

参考：
https://blog. .net/qq_39852676/article/details/107407046

在分布式训练过程中，数据的分布方式似乎与模型的处理方式类似，每个计算节点都需要复制相应的数据内容，同时需确保各节点之间的路径设置保持一致；DistributedSampler的作用是为每个GPU分配对应的数据索引值列表。

源码解释DistributedSampler 分布式数据划分测量

分布式数据划分功能主要集成于DataLoader模块中，其接口类__被设计为DistributedSampler

复制代码

    from torch.utils.data.distributed import DistributedSampler
    
    trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform)
    train_sampler = DistributedSampler(dataset=trainset)
    trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size

全部评论 (0)

还没有任何评论哟~