论文部分内容阅读
伴随音乐的舞蹈作为一种艺术表现形式,丰富着人类的文化生活,并激发着大众的创作热情。编舞工作通常由专业的编舞家完成,专业性极强且相当耗时,而科技的发展正在改变艺术创作的方式,动作捕捉技术和人工智能的发展为计算机实现基于音乐的自动编舞提供了可能。计算机音乐编舞需要解决两个关键问题:第一,如何不依赖动作捕捉和手工制作得到真实且新颖的舞蹈动作;第二,如何利用适当的音乐和动作特征及匹配算法增强音乐与舞蹈的同步性。为解决以上两个问题,本文基于混合密度网络(MDN),通过动作生成、动作筛选和特征匹配三个步骤,来生成与目标音乐相匹配的舞蹈。与已有研究相比,本文生成的舞蹈在动作连贯性与真实性上有所提升。用户主观评分表明,本文的编舞结果与音乐的匹配程度更高。本文主要工作包含如下三个方面:(1)为了使网络模型生成的动作适用于音乐编舞,提出了一种动作生成过程中的参数控制算法和一种基于连贯性的动作筛选算法,旨在提高生成动作的真实性和连贯性。在动作生成过程中将MDN输出的高斯模型均值作为骨骼位置,在动作筛选时根据相邻帧关节速度变化率衡量动作的连贯程度。实验结果表明,使用均值法生成的动作更真实,对比生成的原始动作数据,筛选后的动作连贯性明显提高。(2)提出一种多层级的音乐与动作特征匹配算法,将整体与局部特征匹配相结合,旨在提高音乐与动作的统一性与合拍性。首先基于常数Q变换提取目标音乐的整体音符密度和每分钟节拍数(BPM),并与动作速度、空间性等特征进行初步匹配,之后再进行基于节奏和强度的音乐与动作片段局部特征匹配。实验结果表明,使用整体与局部特征相结合的多层级特征匹配算法,最终合成结果中各动作片段的速度等特性更加统一,整体编舞更具美感。(3)深入分析了计算机音乐编舞的全过程,并提出了一个计算机音乐编舞框架,为解决该问题提供了一个新的思路。该框架主要由四个模块组成:动作数据集构建、模型训练与动作生成、舞蹈编排与合成、三维角色动画可视化。为了增强框架实用性,在舞蹈编排模块引入用户控制,用户通过设置局部骨骼速度和空间性特征的阈值影响编舞结果。利用本框架可以自动生成与目标音乐相匹配的舞蹈动作。相较于仅利用深度神经网络获得的音乐-动作映射模型,本框架具有更强的稳定性与泛化能力。