AI多的并行算法

AI多种并行算法
并行模型
• 模型并行（ model parallelism ）: 在分布式系统架构中，网络模型的不同组成部分被分配至不同的计算设备（如GPU或CPU）进行处理 —— 例如，神经网络的各个层级可能被分别部署在不同机器上，或者同一层级中的参数也可能被拆分至多个设备进行运算；[14]
• 数据并行（ data parallelism ）：多台计算设备各自保存相同的模型副本，每台设备处理不同的数据集，并通过特定的整合机制将各设备的运算结果进行汇总。

此外，还存在一种混合并行（Hybrid parallelism）方式，在一个计算集群中同时结合了模型并行与数据并行两种策略。例如，可以在单台设备内部实现模型的并行处理（将模型参数分布至多个GPU上），而在不同设备之间则采用数据并行的方式进行任务分配。

数据并行
在分布式训练中，数据并行化方