强化学习中的马尔科夫决策过程

Markov Decision Process

1 相关资料

David Silver的课程资料：https://www.davidsilver.uk/wp-content/uploads/2020/03/MDP.pdf>
周博磊的授课材料：https://github.com/zhoubolei/introRL>

2 概述

Markov决策过程（MDP）作为强化学习环境的一种规范性表述方式，具有以下特征：

• 所处环境具备完全可观测性
• 现存状态能够完整表征整个进程
• 几乎所有强化学习相关问题均可通过该模型进行描述

3 Markov Property

• 马尔科夫性： 当前状态对下一状态的确定具有唯一决定性作用

MP、MRP与MDP的对比分析

4.1 Markov Process (MP)

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/ipcZWvyNMI4kwo9b