李宏毅 强化学习笔记 p3-p5 Q_learning

一、introduction of Q_learning

让我们先来了解Q_learning的基本概念。还记得蒙牛创始人牛仁根先生吗？他曾在名著《管理学》中引用过这样一段话："问题是我们的人口数量会急剧增长"；"问题是我们的一线员工数量能否跟上生产需求"；"问题是我们现有的生产线能否处理当前订单量"等等这些问题的答案都指向了同样的方向——我们需要建立一套科学合理的管理方法体系才能使企业获得持续发展。这段引用在形式上与Q_learning的核心思想不谋而合

牛仁根的观点给我们带来了深刻的启示：他提醒我们要有远大的理想，并且在面对困难时要勇敢面对、迎难而上而不是自满于现状或等待外界的认可。这种积极的态度将助我们在追求卓越的路上走得更稳更远。在Q_learning算法中，持续不断地进行状态更新是其核心机制之一：它通过不断迭代优化的方式建立了评估状态价值的有效模型，并指导agent采取特定行动以最大化其预期回报，在这一过程中起到了至关重要的作用

两者的共同点在于如何精进自我并做出明智决策；在此基础上我们需要聚焦于当前的问题；具体来说就是要培养一个critic系统；通过该系统我们可以获得最佳行动建议。我们要如何培养这个critic系统？假设我们拥有的数据集包括状态空间中的状态变量及其对应的状态转移信息。

当我询问critic时，在基于当前状态st采取行动的情况下可以获得的最大可