智源与清华推出FastMoE, 千亿AI模型基础

北京智源研究实验室与清华大学携手推出首个支持PyTorch框架的高性能MoE系统 FastMoE 。开源地址：https://github.com/laekov/fastmoe

FastMoE系统展现出易于使用性、适应性强以及训练效率高的特点，并成功突破行业内的诸多限制。该系统不仅能在不同规模的计算机或集群上运行，并且还支持研究人员在各个领域中运用不同的MoE模型进行开发与应用。 FastMoE是由智源研究院于2020年发起的一项新型超大规模预训练模型研发项目“悟道”的最新成果，“悟道文汇”（面向认知的超大规模新型预训练模型）及“悟道文溯”（超大规模蛋白质序列预训练模型）两个研究团队经过联合攻关共同完成

MoE是什么？

万亿模型的核心技术

推动预训练模型跨越式发展

却令GPU与PyTorch用户望而却步

该技术通过引入多个专家网络（Expert Networks）来实现神经网络中的功能，并成为Switch Transformer的关键组成部分。它对于预训练模型从亿级参数向万亿级参数扩展发挥了重要作用。然而由于对其所依赖的分布式训练框架mesh-