DeepSpeed设置选项 - 快速上手

目录

• DeepSpeed配置参数 - 快速上手
  • • 批量处理规模
    • 优化器
    • 调度策略
    • 半精度计算
    • 零阶优化技术
    • CSV监控功能

  • 示例

DeepSpeed配置参数 - 快速上手

微软推出了一款面向PyTorch框架的开源深度学习优化工具，名为DeepSpeed。其核心功能包括以下几个方面：

• 异构计算：通过ZeRO-Offload机制，该工具能够同时调用CPU与GPU内存资源，从而在单张GPU上实现训练规模扩大10倍的模型；
• 计算加速：采用Sparse Attention kernel技术，不仅支持更长的输入序列（长度提升至原来的10倍），而且执行效率也提高了6倍，同时保持较高的精度水平；
• 3D并行：将模型的不同层级分配到多个worker之间，此方法借鉴了英伟达Megatron-LM的设计理念，有效降低了显存占用量

官方文档链接：https://deepspeed.readthedocs.io/en/latest/
配置参数说明文档链接：https://www.deepspeed.ai/docs/config-json/

以下将对一些关键参数进行详细阐述：

batch Size

    train_b