强化学习中的好奇心

去年有一篇探讨以好奇心为驱动力进行探索的强化学习研究颇具启发性(Curiosity-driven Exploration by Self-supervised Prediction)。在多数现实场景中，外部环境所提供的激励信号往往极为稀少，甚至完全不存在。当智能体无法获得有效反馈时，其策略函数的更新机制将难以正常运作。针对这一问题，该研究提出了一种新的思路，即借助内在的好奇心来引导对未知领域的探索。

文中举了一个具体案例：在一个阳光灿烂的周末午后，一个三岁孩童即便尚未接触到诸如大学、工作、房产或家庭等未来可能带来的激励因素，依然能够毫无顾忌地在游乐场尽情玩耍。作为人类智能体的代表，她的行为正是受到心理学领域所称的内在激励——好奇心所驱动。这种好奇心本质上是一种获取新知识与技能的方式，而这些新掌握的能力将在未来获取外部激励的过程中发挥关键作用。

文章目录

• • • • • 由好奇心引导的探究过程
      • • 将预测误差作为激发好奇心的驱动力
        • 自主监督下的预测机制

      • 实验配置与所得结论

      • • 对比基准模型
        • 调整外部激励的分布密度
        • 缺乏激励的场景设定