图像与midi乐曲的信息互映射与一种新颖的可视化方法.doc 全文免费在线阅读

  本文关键词：图像与MIDI乐曲的信息互映射与一种新颖的可视化方法，由笔耕文化传播整理发布。

网友zbggqyk171近日为您收集整理了关于图像与MIDI乐曲的信息互映射与一种新颖的可视化方法的文档，希望对您的工作和学习有所帮助。以下是文档介绍：图像与 MIDI 乐曲的信息互映射与一种新颖的可视化方法摘要:本文通过分析图像与 MIDI 乐曲的信息构成方式,提出了从图像三维信息空间到MIDI四维信息空间之间的互映射转换模型,利用 MIDI乐曲的时序关系,提出了一种新颖有趣的 MIDI 信息的彩色圆圈动画显示方法。实验结果显示,图像信息到 MIDI 信息的映射转换能辅助创作音乐的动机,MIDI 乐曲的彩色圆圈动画能形象地展示乐音的属性与时序关系。关键词:RGB 图像;MIDI 乐曲;互映射;彩色圆圈;动画0 前言动机是音乐的灵魂,动机通过发展形成乐曲,灵感是产生动机的重要因素,在数字时代,人们在探索利用人工智能方法产生动机,进而发展成乐曲,计算机作曲或者算法作曲技术的发展为音乐的创作提供了一条可行的路线。1957 年由 Lejaren Hiller 第一次利用计算机进行音乐创作,设计了作曲系统 Illiac Suite;1960 年代初期,Robert Baker 和 Lejaren Hiller设计了第一个自动作曲系统 P[1],而最著名的计算机作曲系统则是 Iannis Xenakis 系统[2],它利用统计与概率方法进行辅助设计等等。在计算机作曲系统中,大量使用了人工智能的方法,如马尔可夫链[3]、遗传算法[4]、高层领域知识[5]和神经网络[6]等。音乐可视化是对音乐表达的一种非主观的解释和判断,是为理解、分析、比较音乐的表现力和内部结构提供的一种呈现技术[7]。它综合利用了音乐、数字音频、图形学、图像处理、虚拟现实等领域的跨学科知识,研究内容广泛,如可视化系统构建、音乐感知模型、情感检测、沉浸式显示等,在娱乐、教育、艺术、商业和数字遗产保护[8]中具有广阔的应用前景。音乐可视化实现方法很多,如水彩画风格的音乐动画技术[9],基于实时 MIDI 响应的 Music on the Spiral Array 系统[10],三维蠕虫效果[11],以及基于虚拟技术的 ANIMUS 框架[12]等。1 图像与 MIDI 乐曲的映射转换模型1.1 图像像素与 MIDI 音符分析一幅数字图像由若干个离散的像素点组成,不同的像素点具有不同的属性,彩***像的像素点由三个基本的颜色 RGB 构成,每个颜色占用 1 个字节空间,可以有 256 种不同的颜色值,灰度图像的每个像素点的值是灰度级,范围是 0~255,二值图像的每个像素的像素值不是 0 就是 1。音乐音符有四个基本的属性,分别是音色、音高、时值和力度,在 MIDI乐曲中,不同的音轨轨道包含有不同的音色,一个轨道的 MIDI 音符由三个字节构成,第 1 个字节为轨道信息和音符开或关的信息,第 2 个字节为音符的音高信息,范围为 0~127,第 3 个字节是音符的力度信息,范围为0~127,音符的时值由音符的开信号和关信号之间的时间差来决定,时长不定。因此,图像的像素由三维的 RGB 分量构成,而 MIDI 乐曲则由四维的音轨、音高、时值和力度构成,图像信息与 MIDI 信号之间的映射转换就是研究三维空间与四维空间之间的映射关系。1.2 映射转换模型图像信息与音乐 MIDI 信号之间的互映射转换是一个视觉信息与抽象信息的互转换过程,从 MIDI 音乐到图像的转换是音乐信息可视化的研究内容之一,从图像到 MIDI 音乐的转换是图像抽象化的一种有趣探索。这里,分析图像和 MIDI 乐曲之间的对应映射转换关系:常见的彩***像有 RGB、HIS 格式等,图像信息的主要内容是像素的色彩信息,在 RGB 格式中,每个像素包含有 RGB 三个分量的图像信息,MIDI乐曲的主要信息是音符信息,音乐乐曲的 MIDI 音序中包含有 k(≥1)个轨道信息,每个轨道中的乐音信息由音高(Pitch)、时值(Duration)、力度(Value)三要素构成,因此,可以在图像的 RGB 分量与 MIDI 的 PDV要素之间建立对应映射关系,使得图像的单个像素的 RGB 分量与 MIDI 的单个乐音 PDV 要素之间构成互映射转换,见图 1。同时,音乐乐曲常有多声部构成,每个声部中的乐音之间有先后的时序关系,并且乐曲的音调和调性制约着乐曲中乐音的呈现方式;而图像中的像素之间并无时序关系,因此需要设计图像中的各个像素与乐曲中的乐音之间的对应关系,常见的方法是按图像的从上到下、从左到右的像素扫描序列对应乐曲中乐音的先后时序。图像像素的 RGB 向量是三维结构,RGB 向量的每一分量取值范围为 0~255;乐曲的乐音 MIDI 信号的 PDV 向量也是三维结构,其中 P 分量的取值范围为 0~127,V 分量的取值范围为 1~127,D 分量的取值范围为不定。V 分量的取值范围虽然为 1~127,但是由于乐曲中表示力度的符号一般包括:ppp,pp,p,mp,mf,f,ff,fff 等几种定性符号,定性力度符号与定量 MIDI 信号之间可根据不同乐曲进行个性化对应转换。P 分量表示乐音音高,比如钢琴的音域范围的 MIDI 信号为 21~108,中央 C 的 MIDI 信号为 60;由于乐曲不仅有音调、调式,而且还有一些限制,如人声的音域范围不可能为 0~127,调式有大小调式、五声调式(见于中国古代音乐)、七声调式(西方音乐的主要调式)等之分,音调有 C调、D 调、F 调等 12 个,这些都限制了实际乐曲中乐音的 MIDI 信号音高取值范围, 如 C 大调五声调式的乐音使用的 MIDI 信号值为:60/62/64/67/69+12*j,-5≤j≤5,共 49 个值。乐音的时值通常有 1 拍、2 拍、1/2 拍、3 拍、1/3 拍、4 拍、1/4 拍等等定性的记谱符号,在 MIDI 信号中,则表示为门时间,由同一个乐音的 MIDI 信号分两次不同出现之间的间隔来决定。图像像素信息与乐曲 MIDI 信号的乐音之间映射关系可以有不同的组合,如在图像的 R/G/B分量与乐音的 P 分量之间建立映射,可分为无调性映射、调性映射、调式映射、窄音域映射等。无调性映射是 P 分量的 MIDI 信号值只取决于图像像素的某个分量的取值,调性映射是指 P 分量的 MIDI 信号值属于某调性的MIDI信号值集合,调式映射是指P分量的MIDI信号值属于某调式的MIDI信号值集合,窄音域映射是指 P 分量的 MIDI 信号值属于特定的较小音域的 MIDI 信号值集合。从 MIDI 信号到图像像素之间的映射关系主要考虑 MIDI 信号的取值范围能等概率地映射到像素各分量的取值范围。如从 MIDI 的力度信号映射到图像的 R/G/B 分量,由于常见的力度符号只有 8 个,而彩***像的 R/G/B分量取值范围为 0~255,共 256 个不同的值,这样可以在映射过程中加入随机变量,使得从 8 个力度符号能等概率地产生 256 个不同的 R/G/B 分量值。1.3 彩色圆圈为可视化 MIDI 乐音信号的抽象信息,把 MIDI 乐音信号的 PDV 分量用二维彩色圆圈按乐音的时序先后呈现,其中 P/V 分量分别为 X-Y 轴,圆圈

12>

  本文关键词：图像与MIDI乐曲的信息互映射与一种新颖的可视化方法，由笔耕文化传播整理发布。