基于RGBD的动作识别采用多视角特征融合机制

RGBD动作识别的多视图层融合模型
摘要
在基于视觉的动作识别领域，实践中面临诸多挑战，例如从任意角度识别主体、实时处理数据以及保障现实环境中的隐私安全。即便是基于配置文件的人类动作识别（作为视觉动作识别的一个分支），在计算机视觉研究中也是一项极具挑战性的任务，它构成了理解复杂动作、活动及行为的基础，尤其是在医疗健康应用和视频监控系统中具有重要意义。因此，提出了一种用于基于配置文件解决方案的新型图层特征模型构建方法，该方法能够实现多视图深度图像特征的融合。该模型能够在63帧每秒的实时运行速度下，从多个低复杂度的角度对四个基于配置文件的动作进行识别：站立/行走、坐着、弯腰以及躺着。实验结果显示，在Northwestern-UCLA 3D数据集上的平均精度达到86.40％；在i3DPost数据集上，平均精度为93.00％；而在PSU多视图基于配置文件动作数据集（一个专门用于多视角的新数据集，提供基于配置文件的RGBD图像）上，则达到了99.31％的平均精度。
1.简介
自2010年以来，动作识别技术不断取得进展，并逐步应用于医疗健康领域，特别是在对老年人进行监控方面发挥着重要作用。行动分析在检测日常生活中的正常或异常事件中具有关键作用。在这些应用场景中，必须充分考虑隐私保护与所采用技术使用的便捷性这两个核心要素。公认的行为模式是用于监测复杂活动和行为的重要功能模块，这种