人工智能舞蹈交互系统：舞蹈动作特征的表示

2023-10-29 理论教育版权反馈

【摘要】：然而在舞蹈表演中，舞者经常以各种方式弯曲、倾斜或旋拧他们的躯干，通过这样的动作来表现富有魅力的形体之声。和Yu轴之间的夹角θLE表示左大臂的“倾斜”状态。

在BESS模型中，“身体”这一部分对身体组织进行一般性说明，它负责描述哪些部位正在移动、哪些部位相连、哪些部位受到他人的影响、各部位之间的运动顺序是什么。由于本书的舞蹈数据是通过Kinect动作传感器采集的，因此本书采用通用的三维人体骨架模型作为人体结构的基本模型。该模型由20个骨骼关节点（简称节点）组成（见图1-2），各个节点之间采用树状层次结构进行连接，hip节点（hip-center）为整个人体骨架的根节点，从hip节点开始，向人体骨架的各个子关节逐层延伸，形成根节点的各个子树。其中，骨架的hip节点包含了三个平移量和三个旋转量，hip节点的平移量的变化决定了人体运动的变化轨迹，而旋转量决定了人体在空间中的朝向，其他子节点则通过其相对于它的父节点的旋转量来表示自身的方向。

图1-2 人体骨骼节点

动作传感器采集到的人体运动数据可以被看作在一个持续时间段内采样得到的一个持续的人体动态姿势序列帧组合，每一帧的姿势都是人体关节点的底层信息数据集。这样，任意帧的人体姿态可表示为：

}gsr}0057-2.jpg}/gsr}

其中，、分别是平移量和旋转矩阵，它们代表了骨骼的hip节点的位置信息和旋转信息。其他非hip节点的空间位置可以通过公式（2）的三维变换公式得到：

}gsr}0057-5.jpg}/gsr}

其中表示i时刻关节N_j的世界坐标；、表示i时刻hip节点的平移和旋转变换矩阵，、表示初始时刻N_k节点相对于其父节点的局部偏移变换矩阵和旋转变换矩阵，表示初始时刻N_j的相对偏移量。

在“形态-力效”的描述方法中，“形体”的部分主要用来分析人体姿态在空间中的动态变化，它着重描述身体的外在形态、身体的各个部分的相互关系，以及在运动中身体的某一个部位如何变化才能保证其他部位到达合理的位置。为了分析人体的姿态变化，本书把人体分成了10个部分，通过描述这10个身体部分的关系来表示人体的外形信息。如图1-3所示，躯干被处理为上躯干和下躯干（胯部）两部分，其余部分包括左/右大臂、左/右前臂、左/右大腿和左/右小腿。其中下躯干为人体的腰部，是人体动作的根部位，本身运动变量较少。下文主要介绍躯干特征。

图1-3 姿态的组成部分

躯干包含了背部、腰部、胸部和肩部等部位，在人体运动中起到稳定重心、传导力量、发力和减力等作用，对于人体在运动过程中保持平衡有着重要意义。^[9]在前文的人体基本骨骼模型中，用来描述人体躯干的节点独立性弱，因此躯干自身的姿态变化主要通过胸部（肩部）相对于腰部的变化来体现，且运动幅度比较小。在力学分析、医疗等领域，研究者主要是通过分析这种运动变化了解躯干各个部位的肌肉变化，而不是实际空间意义上的变化。如果不充分关注动作的细节，躯干的运动状态便可能被忽略。然而在舞蹈表演中，舞者经常以各种方式弯曲、倾斜或旋拧他们的躯干，通过这样的动作来表现富有魅力的形体之声。^[10]以下是舞蹈动作中比较突出的三种躯干动作。

如图1-4（a）所示，所谓躯干的侧倾，是以腰椎为动作轴，以腰部为参考点，胸部向侧方弯曲。观察动作外在呈现的变化可以发现：双肩体现了侧倾的“自由度”，头部跟随胸部脊椎线运动。

图1-4 躯干的不同状态

如图1-4（b）所示，躯干的弯曲状态和侧倾相似，所不同的是，胸部为向前或者向后的倾倒状态。理想状态下，双肩和腰线大致平行。

如图1-4（c）所示，躯干的旋拧是指胸部的旋转程度大于腰部的旋转程度，腰部和胸部朝向不同的方向。旋拧的程度可以通过肩膀线和腰线的夹角判定。通常，胸部的拧动角度不能超过腰部拧动角度的1/16，这个部分在动作评估的时候对舞蹈的力度会有所影响。^[11]

图1-5 人体上下躯干坐标系

为了描述以上躯干部分的姿态变化，我们可以把躯干理解为上下两个刚体——上躯干（胸部）、下躯干（腰部）。如图1-5所示，我们首先让双肩节点和hip节点这三个节点构成一个上躯干平面，以肩部节点连线为准，建立正交坐标系的X轴，以从左到右的方向为X轴的正向；而穿过hip节点、垂直于肩部节点连线方向的线为Y轴，方向为从下到上；该正交坐标系的Z轴为前两个方向轴的叉积，即Z_u=Y_u×Y_u。因此，我们建立了一个上躯干的正交坐标系{X_u，Y_u，Z_u}。使用相同的方法，以hip节点和左右腰侧这三个节点构建一个三角平面，腰部连线作为下躯干坐标系的X轴，方向为从左到右；穿过hip节点、垂直于腰部连线的线为Y轴（向上为Y轴正方向），Z轴为Z_l=X_l×Y_l，下躯干的正交坐标系为{X_l，Y_l，Z_l}。

为了计算躯干的姿态特征，在图1-6中，我们将上躯干坐标系{X_u，Y_u，Z_u}投影到由下躯干坐标系构成的（X_l-Z_l）、（X_l-Y_l）和（Y_l-Z_l）平面上，从而获得了一个临时的投影坐标系{X′_u，Y′_u，Z′_u}。{X_l，Y_l，Z_l}坐标系和{X′_u，Y′_u，Z′_u}坐标系的对应坐标轴之间的夹角{α，β，γ}可用来表示舞者躯干的三个状态，其中X’_u和X_l的夹角（α）表示身体侧倾的程度，Y’_u和Y_l的夹角β表示身体旋拧的程度，Z’_u和Z_l的夹角γ表示身体弯曲的程度。我们针对躯干状态提取了如表1-1所示的躯干特征集合。

图1-6 躯干特征集合

表1-1 躯干特征集合

在舞蹈表演中，为了展现舞者的情绪及其与周围环境的关系，动作相对来说比较夸张，手臂和腿收缩与伸展的幅度比躯干大。由于大臂和大腿直接和躯干相连，它们的变化是以上下躯干为轴点进行的，因此我们将与躯干相连的大臂和大腿设为一级关节，其中左右大臂以上躯干坐标系{X_u，Y_u，Z_u}为参考坐标系，大腿的参考坐标系则是下躯干的正交坐标系{X_l，Y_l，Z_l}。

图1-7 左大臂对应坐标系

以左大臂为例，如图1-7所示，{X_u，Y_u，Z_u}坐标系的原点调整为左肩节点（LS），LE表示左胳膊肘节点，表示左大臂。和Y_u轴之间的夹角θ_LE表示左大臂的“倾斜”状态。把投影到（X_u-Y_u）平面上，投影线和X_u轴之间的夹角φ_LE用来描述大臂的“方位”。以此类推，采用相同的方法，我们可以得到如表1-2所示的8个有关一级关节的特征描述。(www.chuimin.cn)

表1-2 一级关节特征集合

人体的前臂或小腿，因为相对于一级关节来说远离躯干并且和一级关节相连接，所以被称为二级关节。如图1-8所示，以左前臂为例，首先基于左大臂建立一个左前臂的局部正交坐标系，肘关节（LE）作为坐标原点，左大臂所在的向量为坐标系的Y轴（Y_uu），X_uu是上躯干坐标系中的坐标轴X_u投射到垂直于Y_uu的平面上的投影线，Z_uu轴为前两个方向轴的叉积，Z_uu=X_uu×Y_uu。在新的坐标系中，表示左前臂，则Y_uu轴和之间的夹角θ_LW将被提取以描述左前臂的“倾斜”状态；把投影到（X_uu-Y_uu）平面上，得到，它和X_uu之间的夹角φ_LW表示左前臂的“方位”。由此，我们得到如表1-3所示的8个二级关节的特征向量。

图1-8 左前臂的局部坐标系

表1-3 二级关节特征集合

通过以上的方法，我们首先就舞蹈动作中的姿态部分进行了特征提取，一共得到19个特征值。通过姿态的特征集合，我们可以对舞蹈姿态的动态变化有一个基本的理解。如图1-9所示，这是一段手臂模仿燕子飞的舞蹈动作，图中展示的是该动作的左/右大臂的倾斜特征变化曲线以左/右大腿的倾斜特征变化曲线。我们可以看出，在这个舞蹈动作中，腿部没有伸展动作，手臂做出了两次比较明显的上下摆动，每次手臂摆动时以踩踏式步伐前进。

图1-9 燕子飞动作的手臂、大腿的倾斜特征值

在“形态-力效”的描述方法中，“空间”的部分主要用来描述动作所占用的空间，其与运动的路线有关，也可以表现舞者在表演过程中对环境的感觉，因此我们采用以下三个概念来计算舞者所占用的空间。

运动的距离表示一段时间内，随着时间的持续而累积生成的舞者的运动曲线的长度，具体的测量方式为计算hip节点的空间轨迹投影到地面的曲线的长度。这样可以防止垂直方向的动作例如跳跃被错误地视为舞者所占用的空间。在公式（3）中，L_hip（n）表示第n帧时hip节点的轨迹投影到地面的长度。

}gsr}0067-1.jpg}/gsr}

运动的面积表示舞蹈动作在运动持续时间内所覆盖的地面面积。我们通过人体四肢末端关节点垂直投影到地面所构成的四边形面积的变化来表示该动作所覆盖的区域的大小，利用公式（4）求得此四边形的面积。

}gsr}0068-1.jpg}/gsr}

图1-10 四肢覆盖的面积

其中，a、b、c、d分别为双手、双脚、左手和左脚、右手和右脚投影到地面后形成的四边形的边长（见图1-10），s为半周界，即，而φ、ω为其中的两个对角。

运动的高度主要表明舞蹈动作的空间高度特性，我们可以通过hip节点的f₂₂=y_hip（t）坐标值来判断。对于跳跃的动作，舞者的运动高度将会有很大变化。因此，我们将hip节点的运动路线、身体覆盖的面积、跳跃的高度三个元素结合起来计算该舞蹈动作所覆盖的空间。该特征子集的状态和实际的表演环境之间关系紧密，通常作为舞蹈分析的次要条件。

力效主要用于描述动作的力量变化给动作的意图、感觉、质感带来的影响。可以从时间、空间和肌肉能量等要素出发，对动作进行比较科学的分析和描述。拉班的“力效”理论由四个子类别构成，即重力、流畅度、空间和时间。每个子类别都包含两个极端状态，它们均被称为力效因子。

重力是人体在地心引力的作用下产生的动作的轻、重质感，在运动的过程中显示出的力度感就是力效中的重力，它的两极分别是轻盈和有力。运动过程中人对自身重量进行最大限度的抵抗时会产生强而有力的动势，这就是重力因子中的“强”或“重”；而逐渐减轻这种对重力的抵抗，利用“轻心”进行运动，将产生轻盈的无重力感，这就是重力因子中的“轻”或“弱”。

笔者将通过研究身体的运动减速度如何随时间变化来确定重力因子，使用公式（5）计算得到人体hip节点的减速度变化曲线。若该曲线有峰值，则表示该动作重力较大；若曲线平缓、没有峰值，则表明该动作是轻盈的。

}gsr}0069-1.jpg}/gsr}

流畅度是人体做动作时使用的劲力，它揭示了动作过程中受限制的程度。控制强度大的动作具有受束缚的属性，而控制强度小的动作则具有自由活动的属性。由身体中心向外部扩展的动作，比如由肩至肘到腕最后到指尖的动作是属于“流畅”或“自由”的；相反，由外向内或停顿性造型动作等收缩类型的动作，是属于“受限”或“阻塞”的。因此，我们采用计算hip节点在运动中的“急动度”来对该因子进行测算，相当于测算运动中的一种“柔性碰撞”，以描述动作在表现过程中束缚对其产生的影响。

空间因素表示人体会通过力量使产生的动作占用一定的空间，反映的是舞蹈主体与外部世界的关系。空间因素的两极为“直接”与“延伸”。“直接”的力效给人有棱角与刺射的心理感觉，四肢的动作力度相对比较大；“延伸”的力效则较为温和。因此，我们通过测算双手和双脚的移动加速度来描述身体对空间的作用力。

时间力效指动作维持的时间长短和动作运动形式的顺序，只有在做动作时才产生，动作停止时便停止。时间力效的两极为“快”和“慢”，是对动作的时间力效数值变化范围的描述。在舞蹈中，时间力效所强调的动作的快慢和舞蹈节奏不同。舞蹈的速度主要是为了描述表演过程的持续时间，而舞蹈的节奏则表示在表演过程中动作对音乐节拍所做出的回应。考虑到很多舞蹈动作主要是以四肢的变化为主的，所以选择骨骼中的hip节点、左右手腕、左右脚踝五个节点的平均速度来表示舞蹈的时间。该运动速度可以用公式（6）表示：

}gsr}0071-1.jpg}/gsr}

p_i，r（n+1）是集合p中第i个关节点在第n帧的空间位置，i∈{hip_center，left_wrist，right_wrist，left_ankle，right_ankle}，Δt为采样时间，Δt=0.033sec。这一公式通过计算一段时间内hip节点覆盖的距离来进行速度估计。

人工智能舞蹈交互系统：舞蹈动作特征的表示

相关推荐