从自动微分到可微编程设计（二）

摘要

自动微分 （Automatic Differentiation, AD）是一种高效准确地对计算机程序进行求导的技术，在计算流体力学、大气科学以及工业设计仿真优化等多个领域得到了广泛应用。近年来随着机器学习技术的蓬勃发展，“ Automatic Differentiation 技术的研究进入了全新的发展阶段。伴随 Automatic Differentiation 及其他相关求导技术研究的深入发展，在编程语言、计算框架以及编译器等相关领域间形成了日益紧密的关联性。基于此基础衍生出新的 可微编程 概念

本文将分为三部分，主要框架如下：

• 常用的计算机程序求导技术概述
• 业内关于自动微分与可微编程的研究进展综述
• 自动微分与可微编程领域中尚未解决的核心问题及其未来研究方向与挑战

前期内容：从自动微分到可微编程语言设计（一）

我们建议如若读者有兴趣了解更多关于可微编程的技术内容，请持续关注SIG-可微编程发表的相关文章。同时, 我们热忱欢迎读者朋友加入我们的编程语言技术社区SIG-可微编程小组，并邀请我们共同深入研究相关技术。

自动微分实现

在上一期的文章里, 我们阐述了自动微分的核心数学理论. 具体而言, 其主要操作环节包括: