HAPFI：让机器人学会“吸取教训” ️

—— 一种融合历史信息的新型具身指令跟随方法

引言：让机器人理解复杂指令

随着人工智能技术的迅猛进步，人们对机器人功能的期待也日益提升。人们不仅希望机器人能在简单场景中执行预设指令，更期望其具备类人能力，能够理解并完成涉及多步骤的复杂任务。例如，当用户向机器人发出“将洗净的生菜放置在白色桌面上叉子的旁边”这样的指令时，机器人应能准确理解其含义，并依次完成清洗、定位及摆放等操作。

然而，当前的机器人技术在应对此类复杂指令方面仍面临诸多困难。传统系统通常仅能处理结构化、事先设定好的命令，在面对需要根据环境变化进行实时调整的任务时，往往难以胜任。

为攻克这一难题，相关领域的研究者引入了“具身指令跟随”（Embodied Instruction Following，EIF）这一概念。EIF旨在使机器人具备类似人类的能力，即通过感知环境、解析自然语言指令，并自主制定行动方案，从而实现对复杂任务的有效执行。

现有方法的局限性：缺乏对历史信息的有效利用

当前的EIF方法主要存在两个方面的不足之处：

1. 多模态信息整合程度有限：

目前所采用的EIF方法大多仅聚焦于自然语言指令本身，而未能充分融合其他类型的信息，如图像、音频等。然而，在实际应用场景中，机器人需要综合运用多种模态的数据，才能更全面地理解环境与任务要求。例如，在处理“将洗净的生菜放置在