Hierarchical Continual Reinforcement Learning via Large Language Model

本篇文章属于LLM系列论述，旨在对《通过大型语言模型实现分层持续强化学习》这一文献进行内容转换。

基于大型语言模型的分层连续强化学习

• 摘要
  • 1 引言
  • 2 背景介绍
  • 3 所采用的途径
  • 4 实验分析
  • 5 总结

摘要内容提炼

强化学习（RL）主体在现实世界中的实际应用，高度依赖于其在动态环境中实现持续学习的能力。虽然持续强化学习（CRL）领域已取得一定进展，但当前多数方法仍面临知识迁移效率低下的问题，特别是在面对任务多样性时表现尤为明显。为解决这一难题，我们设计了一种全新的框架——基于大型语言模型的分层连续强化学习（Hi-Core），其核心目标在于增强高层次知识的迁移能力。Hi-Core构建了一个双层体系：利用大型语言模型（LLM）生成高层策略，用以定义多个目标；同时通过与目标导向的强化学习实践相契合的低层策略进行学习，使智能体能够针对设定的目标做出响应。该框架借助反馈机制对高层策略进行反复优化和验证，并将这些策略与低层策略共同存入技能库中。当面对新的任务时，Hi-Core会从技能库中提取相关经验以辅助学习过程。通过在Minigrid平台上的实验验证，Hi-Core展现出卓越的适应能力，在多种CRL任务中均表现出优于现有主流基线模型的性能水平。

1 引言

2 背景

研究方法概述