Harnessing Discrete Representations for Continual Reinforcement Learning

本篇文章属于LLM系列内容，主要涉及对《Harnessing Discrete Representations for Continual Reinforcement Learning》这一文献的译介工作。

利用离散表示进行连续强化学习

• 摘要
  • 1 引言
  • 2 实验配置
  • 3 基于离散表示的世界模型训练
  • 4 采用离散表示的无模型强化学习
  • 5 总结与后续研究方向

摘要

强化学习（RL）代理主要依据环境提供的观察信息进行决策，因此其性能在很大程度上取决于这些观察的表示方式。虽然近期一些进展采用了基于向量的观测分类表示，通常被称为离散表示，但针对这一选择的重要性进行系统评估的研究仍较为有限。在本研究中，我们通过实证方式探讨了离散表示在世界模型学习、无模型强化学习以及最终的连续强化学习问题中的作用，并发现其影响最为显著。实验结果显示，相较于传统的连续表示，在离散表示基础上训练出的世界模型能够以更小的容量精确模拟更大比例的状态空间；同时，采用离散表示训练的代理能够在较少的数据支持下习得更优的策略。在持续强化学习场景中，这些优势进一步体现为代理更快的学习与适应能力。此外，我们的分析指出，这种性能提升主要源于二元性和稀疏性特征，而非传统意义上对“离散性”的依赖。

1 引言

实验设置与参数配置

3