基于计算机视觉与频谱合成的复合电子乐器研究

发布时间：2020-04-13 19:43

【摘要】：自从世界上第一个电子乐器在十九世纪末被发明以来,电子乐器的性能品质不断提高,目前已得到大规模普及。电子琴轻便紧凑,音色变化多样,因而受到众多音乐爱好者的喜欢。但是电子琴毕竟只是对传统乐器的一种模拟,还无法代替传统乐器。如何进一步增强电子琴的性能和表现力,是电子琴未来发展需要解决的问题。特别是我国的民族乐器很多为弦乐器,缺乏自己的音源芯片,如何在弦乐器基音频率连续变化的情况下实现MIDI准确记谱和准确重播是一个难题。本文从电子琴的频谱合成发声技术、电子琴的结构形式和弦乐器的MIDI记谱方法等三个方面,对电子琴进行了探索研究。论文所完成的研究工作和成果总结如下。论文设计实现了一种基于计算机视觉的复合电子琴。在硬件方面,该复合电子琴用有机玻璃盒做琴体,琴面采用LED灯带侧光照明的有机玻璃板,通过广角摄像头监测手指的演奏位置。在软件方面,该复合电子琴在Visual Studio 2015开发环境下,借助OpenCV库函数进行图像处理,实时获取手指指尖的质心位置。在键盘乐器演奏模式下,系统调用传统MIDI功能进行发声、记谱和演奏;在弦乐器演奏模式下,系统调用本论文提出的增强的MIDI功能进行记谱,并通过频谱合成进行准确发声和演奏。从而实现了弦乐器和键盘乐器的统一。论文对弦乐器进行了物理建模和MATLAB仿真,进一步对几种典型乐器进行了傅里叶频谱分析,证实了通过基音和振动频率为基音频率整数倍的泛音,根据频谱包络线确定的音型进行频谱合成,可以在很大程度上还原原始声波,但是仍然可以听出两者在音质上的差异。论文进一步对基音和泛音周围邻域的频谱贡献进行了实验考察,总结出了双十规则:对大多数乐器,只要取包括基音在内的前十个泛音频谱,同时取每个泛音周围正负十赫兹内的频谱,根据频谱包络线确定的音型进行频谱合成,可以较为准确地还原原始声波,几乎听不出两者的差异。对某些频谱谱峰比较宽的乐器,在进行频谱合成发声时可以适当扩大每个泛音周围频谱的范围。论文针对连续发声的弦乐器,提出了一种增强的MIDI记谱方法,该方法首先找到弦乐器演奏某一乐音时,比该乐音频率稍低的最近邻的标准音名(假设两者的频率差为m赫兹),并采用此标准音名,按照传统MIDI指令进行记谱。进一步,再增加一条同样的MIDI指令,但新增的指令做两点改变,第一,音名序号变为m;第二,时戳加上一个很大的时间常数,使得时戳指向整首乐曲演奏完以后的某一个时刻。这样在播放时,如果采用传统MIDI播放器,由于新增的指令指向整首乐曲演奏完以后,不会影响当前标准音名乐音的演奏,但演奏效果稍差;如果采用根据本文方法增强的MIDI播放器,则在发现超长时戳后,自动减去一个很大的时间常数,并提取该指令所带音名参数m,将m加上标准音名对应的基音频率,得到准确的基音频率,再根据前述双十规则进行频谱合成发声,即可实现弦乐器的准确发声。
【图文】：

电子琴,乐器

（ＹＡＭＡＨＡ）株式会社成功生产出的世界上第一台带着三层键盘的立式电子琴伊莱逡逑克通。２０世纪８０年代集成电路的出现，电子琴越来越趋向小型化，比较有特色的逡逑相关产品也相继问世，如图１．１所示为Ｙａｍａｈａ生产的电子合成器ＧＸ－１和ＥＬＳ系逡逑列电子琴。逡逑Ｉ逦；逡逑ｉ邋ＭｌＪＳＳ＾ＳｉＳ＾Ｊ逡逑ＨｕｉｗＢＨＵＢＬＨｂＨｒ逡逑图１．１电子合成器ＧＸ－ｌ邋（图左）和ＥＬＳ系列电子琴（图右）逡逑我国第一台电子琴出自北京邮电学院研制的电子管单音电子琴，此后因为各种逡逑事因导致上世纪７０年代才开始大批生产。而对于乐器的声学研究从上世纪８０年代逡逑才开始起步，就目前来看，虽然与西方乐器的评定体系接近，但总体而言，并未取逡逑较大突破，造成很多乐器的生产没有形成统一的标准，给我国乐器发展带来诸多不逡逑利，成为我国乐器工业的薄弱环节。如今随着工业发展，电子琴的发展也己到新的逡逑阶段，各样式层出不穷、功能风格层次各异，电子琴己然不只是一种乐器，更多的逡逑是一种文化、一种产业。然而就像移动互联网、人工智能的出现一样，没有哪个新逡逑鲜事物的出现是尽善尽美的，电子琴的出现也一样，其也有不可避免的缺点。尽管逡逑它有优于传统乐器的特色

月球,水准,图像处理,图像处理技术

图像处理技术的潜在应用可能性也引发强烈关注，另一方面的成功逡逑应用在医疗方面。１９７２年，英国电器与乐器工业有限公司（ＥＭＩ）工程师豪斯费尔逡逑德发明了头部诊断的Ｘ射线计算机断层扫描装置，也即ＣＴ扫描仪（图１．３所示）。逡逑ＣＴ的出现不仅对原来用途的医学产生了革命性影响，同时也对整个图像处理技术逡逑有着深刻的意义，，而它的基本原理就是通过计算机系统对人的头部截面投影来处理逡逑５逡逑
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：J628;TP391.41

【相似文献】