导读
动作示教方法是非专家用户对人形机器人进行控制的可靠形式,而对人类动作数据的运动分割与理解是其前提。利用现有方法对所捕获人类运动原始数据进行关键帧提取与运动分割时,由于数据特征不明确,导致难以准确定位运动起始帧、结束帧及分割帧。本文提出一种基于运动数据时空特征提取的运动分割方法。首先,对动态捕捉的人体运动数据进行预处理;然后,基于预处理数据提取人体质心速度、加速度以及简化倒立摆的摆角,从而揭示动态平衡时空特征;随后,提取步长、步高、步频、触地状态等步态参数,用于表现运动的周期性时空特征;从而构造出具有时空特征的运动数据集。最后,基于运动数据集的特征矩阵和运动数据,采用概率主成分分析(Probabilistic Principal Component Analysis, PPCA)方法进行运动分割,获得多种类型运动片段。为验证所提方法的有效性,进行了多种运动的捕捉与分割,并与基于原始数据的分割结果进行对比,结果表明本文方法具有更高的查准率和查全率。
正文
本文所选取的人类运动数据,其对应的数字人结构如图1所示,下肢骨骼包括:Root hip (根骨)、Buttock (臀部)、Thigh (大腿)、Shin (胫骨)、Foot (脚),上肢骨包括Abdomen (腹部)、Chest (胸部)、Neck (脖颈)、Shlder (肩部)、Forearm (肘部)、Hand (手部)每一部分所占总体重的百分比如表1所示。骨骼由关节进行连接,并通过关节旋转实现运动,其中肩关节、髋关节、踝关节具有三自由度,肘关节、膝关节具有一自由度,颈关节具有二自由度。运动数据包含根骨的位置信息及上述18个节点的旋转信息,保存在BVH文件中。
足端的运动状态是时空特征描述的关键信息,基于原始运动数据,将足端在根节点坐标系的位置坐标转换到世界坐标系下,从而方便步态参数的提取。下肢各节点父代与子代的层次关系如图3所示。前一级为后一级的父代。
首先初始化一个向前的运动片段k,使用概率主成分分析来估计运动数据的分布,将该片段建模为高斯分布,其次计算运动帧k + 1到k + T的马氏距离H来估算该片段属于上一片段定义的高斯分布的可能性,示意图如图5所示,整体而言,H先递减,随后产生一个波谷,继而上升,然后再递减,形成一个波峰。当1到k帧和k到k + T帧属于同一种运动时,H递减。随着k的增加,算法对该运动的分布估计更为准确,最终形成了波谷。当新的运动进入第k+1帧到第k + T帧时,H就会开始递增。当新运动开始在第1帧到第k帧中出现时,H又开始递减,此时分布开始适应新运动。因而,可以把波峰处作为分割帧,此时1到k帧是旧的运动,k + 1到k + T帧是新运动的前T帧。
对该运动序列进行时间–空间运动特征提取,利用公式4计算左右侧足端相对于世界坐标系X方向(前进方向)轨迹如图8所示。其中世界坐标系如图1中所示。由图可见,运动大致可分为两类:原地运动、前向运动。其中两曲线重合,且前进方向无位移时表明,该状态处于双足支撑阶段,有位移时,则处于双足摆动状态。两曲线不重合时,则处于单足支撑阶段。
利用速度、加速度公式计算质心的三轴速度与加速度如图9、图10所示,可见4000帧之前,前进轴方向速度加速度几乎为0,为原地动作,4000帧之后,前进轴方向速度加速度发生变化,人体发生前向运动。蹲起及跳跃状态时,质心速度仅在站高方向变化;摆腿时,质心速度无明显变化;步行时,质心在前进方向速度变化较为明显,水平及站高方向无明显波动;前向跳跃及跑步时,质心在前进及站高方向速度变化较为明显,水平方向无明显波动。
在评估分割效果时,引入了查准率(P)与查全率(R),结果如表4所示。
通过比较可以看出,本文方法可以在保证查准率的基础上,大大提升检测的查全率。
结论
基于原始运动数据进行人类运动分割时,由于数据特征不明确,导致难以准确定位运动起始帧、结束帧及分割帧。本文提出了一种基于运动数据时空特征提取的运动分割方法。基于原始数据提取人体质心速度、加速度以及简化倒立摆的摆角,作为动态平衡时空特征加入运动数据中;提取步长、步高、步频、触地状态等步态参数,作为运动的周期性时空特征加入运动数据中,从而构造出具有时空特征的运动数据集。利用概率主成分分析方法分别基于原始运动数据进行运动分割,基于具有时空特征的运动数据集进行运动分割,对分割帧的查找结果进行查准率与查全率计算,结果表明,基于具有时空特征的运动数据进行运动分割,其所定位的分割帧具有更高的查准率与查全率。
基金项目
国家自然科学基金青年项目(62203278);
山东省自然科学基金青年项目(ZR2024QF270);
山东省青年科技人才托举工程(SDAST2024QTB015)
原文链接:基于运动数据时空特征提取的人类运动片段分割方法