基于强化学习Actor-Critic算法的音乐生成

发布时间：2022-01-15 20:04

　　提出一种利用强化学习Actor-Critic（A-C）训练神经网络生成音乐的方法。常规的LSTM音乐生成网络在生成音乐时并没有考虑到实际的作曲情况,只是通过先前训练保存的策略来选择下一个音符,所以生成的音乐稳定性差、风格模糊。引入一个经过训练的Critic网络,该网络能够评估LSTM网络输出音符的价值,以此更新LSTM网络的生成策略。这形成了一个更接近生成阶段的训练过程,并允许优化特定的音乐风格,所以生成的音乐结构稳定,更具风格。对该方法生成的音乐进行验证,证明了其有效性。 

【文章来源】：计算机应用与软件. 2020,37(05)北大核心

【文章页数】：6 页

【部分图文】：

LSTM网络结构

本文借鉴Actor-Critic算法的思想和术语在常规训练的基础上给予生成网络一种模拟生成阶段的训练方式。本次训练中将基于字符级LSTM音乐生成网络视为Actor网络,生成音符序列并接受设定的任务分数,根据接收的分数再次更新生成策略,优化生成结果。本文将特定的任务分数设置为时间差分TD,由LSTM网络和音乐理论规则共同构成Critic网络输出。两个网络中的LSTM网络由上文得到的权值参数进行初始化。具体流程如图2所示。2.2 时间差分TD

神经网络的输入和输出都表示为向量形式,所以需要对音乐数据进行预处理。设定时间量化为十六分音符,然后使用piano roll[14]把样本中表示音符的信息转化成序列的形式。得到音符序列之后需要用向量的形式表示这些序列,本文使用one-hot编码对音符序列进行向量处理,也可以理解为是对音符序列的标注。即把输入音符序列xn转化为输入向量Xn,midi音符的编号共有128个,因此经过编码后的输入向量Xn共有128维。其数据预处理过程如图3所示。4.2 不同参数对实验结果的影响

【参考文献】：
期刊论文
[1]基于CNN-LSTM网络的声纹识别研究[J]. 闫河,董莺艳,王鹏,罗成,李焕.  计算机应用与软件. 2019(04)
[2]多媒体技术研究:2014——深度学习与媒体计算[J]. 吴飞,朱文武,于俊清.  中国图象图形学报. 2015(11)



本文编号：3591240