一种基于姿态关系特征的机器人舞蹈生成方法

发布时间：2021-06-13 23:21

　　如何使机器人伴随着音乐舞蹈是一个有趣又有挑战性的课题,为此提出了一种自动生成机器人舞蹈动作序列的方法.采用门控循环单元（GRU）网络分别学习音乐的全局特征与舞蹈姿态关系特征之间的相关性、音乐局部特征与舞蹈动作密度特征之间的相关性,再结合舞蹈动作图,采样并规划出与节拍同步的机器人舞蹈动作.该方法适用于目前商业娱乐机器人平台上提供的规模小、风格多样的机器人舞蹈数据集.将其在优必选Alpha1S机器人平台上进行实验后发现,机器人能够根据算法生成的动作序列演绎出稳定、流畅的舞蹈;调查问卷表明,人们很难区分舞蹈片段是由该算法生成的还是由人类设计的. 

【文章来源】：厦门大学学报(自然科学版). 2019,58(05)北大核心CSCD

【文章页数】：7 页

【部分图文】：

图１方案总体流程Ｆｉｇ．１Ｏｖｅｒａｌｌｆｌｏｗｃｈａｒｔｏｆｔｈｅｓｏｌｕｔｉｏｎ

同歌曲的ｍ有所差异，ｍ越大表明节拍的时长越小，节拍内的动作数就可能越少，因此用公式ｎｔｍ／１００归一化表示第ｔ个节拍内的动作密度Ｔｔ，以消除ｍ差异所造成的影响．统计数据库中所有节拍内的动作密度值，其分布见图２（ｂ），此时大部分数值在０～３之间．对于数据库中的每首歌曲，可得到按节拍切分后的梅尔频谱序列以及对应舞蹈的Ｒ和Ｔ＝（Ｔｔ），这些序列共同组成了用于训练模型的数据集．几个序列间的时序关系如图３所示：（ａ）为动作序列，其中每个动作由运动阶段和保持阶段构成；（ｂ）为姿态关系序列，一些姿态类型中包括两个二元动作，如对称型图２动作特征的分布Ｆｉｇ．２Ｄｉｓｔｒｉｂｕｔｉｏｎｏｆｍｏｔｉｏｎｆｅａｔｕｒｅｓ式，另一些则只包括一个动作，如对称和其他；（ｃ）为动作密度序列，其中的数字表示该节拍内的动作密度，如节拍４中对应了动作３和动作４两个动作结束点，因此节拍动作数为２，其动作密度为２ｍ／１００．２．２姿态关系模型姿态关系模型（记为Ｒ－ｎｅｔ）的结构如图４（ａ）所示，主要由一个卷积神经网络（ＣＮＮ）和一个带门控单元的循环网络（ＧＲＵ）［１６］组成：其中ＣＮＮ来自于Ｃｈｏｉ等［１７］提出的用于音乐风格识别的网络；ＧＲＵ是一个１２８维的单隐藏层循环神经网络，门控单元的输入端连接了５维的嵌入层（ｅｍｂｅｄｄｉｎｇ），输出端连接一个７维的归一化指数层（ｓｏｆｔｍａｘ）进行姿态关系类图３动

ｍｕ．ｘｍｕ．ｅｄｕ．ｃｎ时，使用“对称”类型的姿态来替代；ｃ）如果当前姿态的邻居节点没有对称关系姿态，则直接使用初始动作．依照以上采样算法得到Ａ后，结合Ｔ可求得每一个节拍内的动作数量ｎｋ＝［Ｔｋ×１００／ｍ］．按顺序从Ａ中选择出姿态，并令第ｋ个节拍内动作时间满足ｔＲ＝ｔＴ＝（ｂｋ＋１－ｂｋ）／ｎｋ，以使得每个动作的结束点都在节拍点上，产生与音乐同步的效果，最终生成可执行的舞蹈序列．图５动作采样算法流程Ｆｉｇ．５Ｆｌｏｗｃｈａｒｔｏｆａｃｔｉｏｎｓａｍｐｌｉｎｇａｌｇｏｒｉｔｈｍ３实验与分析３．１模型训练与测试按照２．１节中的特征提取方法对数据库里所有的音乐和舞蹈提取出梅尔频谱图以及Ｒ，并且按照７∶２∶１的比例划分出初始的训练集、验证集和测试集．对于Ｒ－ｎｅｔ，分别从初始数据集中有放回地随机采样得到约３０００条训练集样本、７００条验证集样本和３５０条测试集样本．对于Ｔ－ｎｅｔ，从初始数据集中有放回地随机采样得到２０００条训练集样本、５４０条验证集样本和２８０条测试集样本．实验中使用随机搜索（ｒａｎｄｏｍｓｅａｒｃｈ）的方式分别为两个网络寻找到合适的超参数，主要包括正则化因子、学习率和ＣＮＮ的训练层数．最终发现在Ｒ－ｎｅｔ中直接固定预训练的ＣＮＮ的参数而只更新ＧＲＵ的参数，在Ｔ－ｎｅｔ中只更新预训练好的ＣＮＮ中的全联接层以及ＧＲＵ的网络参数，能够得到最佳的训练结果．Ｒ－ｎｅｔ和Ｔ－ｎｅｔ

【参考文献】：
硕士论文
[1]音乐驱动的舞蹈动作合成[D]. 樊儒昆.浙江大学 2010



本文编号：3228553