3D虚拟动画即时通信系统的设计与实现
发布时间：2021-08-07 19:47
目前,在即时通信方面的国内外研究都取得了巨大的进步,人与人之间的交流也越来越方便。同时,用户开始希望接触一些更加新颖有趣的体验,比如采用3D虚拟动画取代真实人脸来进行实时通信,3D虚拟动画模型通过用户的表情来驱动。本课题将基于深度学习的人脸关键点识别定位技术、虚拟现实技术与即时通信相结合,将人机交互与视频聊天相结合,设计实现一个互动性强的即时通信系统。本课题采用XMPP+openfire方式实现即时通信系统,使用起来更加方便,拓展性更强。客户端主要工作是实现XMPP协议并利用XMPP协议将数据传输给服务端,并接收来自服务端的数据。Openfire则由服务端来搭建使用。针对当前主流人脸关键点定位模型对复杂环境的鲁棒性较差的问题,本课题采用基于深度学习的方法完成人脸关键点定位模型的设计与实现,通过数据预处理、模型设计、模型训练,实现能定位出68个人脸关键点的鲁棒性较高的模型并完成了对该模型向移动端的迁移工作。当前视频通信往往存在延时、卡顿等问题,因此本课题以人脸关键点数据取代视频流数据进行传输,减轻网络的压力。本课题还采用语音编解码、降噪、回声消除等处理来解决语音传输中的噪声干扰、回声干扰...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图３－１业务功能需求图??
添，理，后时通信，同时可以跟好友进行３Ｄ虚拟动画聊天。从用户需求出发，将用户对??个模块的需求总结如下：??１）注册管理功能：实现对用户创建账号做管理。??２）登录管理功能：实现对用户登录系统做管理。??３）好友管理功能：实现对用户好友关系的维护，实现好友间添加好友操作??管理。展示出各个用户的好友列表、添加好友信息、好友列表快速查找等。??４）即时通信管理功能：实现用户间的实时通信，包括文本消息和语音消息??实时发送、转发和接收，同样也包括虚拟聊天中的即时通信管理。??５）虚拟聊天管理功能：实现对用户人脸关键点定位，人脸关键点数据对模??型的驱动，用户间语音的实时录制、传输和播放等管理。??．２．２用户用例分析??用户用例模型是连接用户需求与系统设计的桥梁。本课题从用户需求出发，??析用户用例，从而可以在整个系统设计开发流程中起到指导作用。本课题３Ｄ??拟动画即时通信系统的系统用例图如图３－２所示：??
是用于对学习出来的模型，调整分类器的参数，验证集还用来确定网络结构或者??控制模型复杂程度的参数。测试集主要是用于测试训练好的模型的分辨能力。人??脸关键点定位模型的设计框图如图４－２所示：??■Ｉ??ＣＮＮ?丨?｜?ＣＮＮ??１?１?１??ＡＳ１?ＡＳ２??Ｓ〇???Ｋ）??？０??Ｓ１?Ｔ２（Ｓ１）＋厶?Ｓ２??▼?▼??Ｉ?Ｉ?Ｉ??连接层?ｉ??？?点坐标相似逆变换??ｌ?厂?厂?ｌ?Ｉ?????ｉ???结果??图４－２人脸关键点定位模型设计框图??在模型设计中，具体的网络结构包括：１、ＣＮＮ：卷积神经网络，用于生成??人脸关键点坐标；２、连接层：将原始图像及上层得出的人脸关键点坐标进行相??似变换，生成相似变换后的图像、热力图和特征图，作为下一层ＣＮＮ的输入；??３、点坐标相似逆变换：将进行过相似变换的人脸关键点坐标逆变换为与原始图??像对应的人脸关键点坐标，即最终结果。??模型的输入为整张原始图片，首先经过卷积神经网络，得到６８个定位点的??偏移量４５１，与ｍｅａｎｓｈａｐｅ?（训练集所有人脸关键点坐标均值）相加得到第一层??网络输出的６８个人脸关键点定位数据５１；?５１和原始图片经过连接层得到相似变??换后的人脸关键点热力图、相似变换后的图片以及特征图片
【参考文献】：
期刊论文
[1]虚拟现实技术的发展与应用[J]. 张益玮. 通讯世界. 2018(09)
[2]面向通信与计算融合的5G移动增强/虚拟现实[J]. 周一青,孙布勒,齐彦丽,彭燕,刘玲,张志龙,刘奕彤,刘丹谱,李兆歆,田霖. 电信科学. 2018(08)
[3]级联神经网络人脸关键点定位研究[J]. 井长兴,章东平,杨力. 中国计量大学学报. 2018(02)
[4]一种面向互联网应用的多路实时流媒体同步合成方案[J]. 王英兰,刘晓强,李柏岩,宋晖,陶抒青,蔡立志,刘振宇. 东华大学学报(自然科学版). 2018(01)
[5]利用Unity3D在Android平台开发移动AR应用的研究[J]. 张艳. 教育教学论坛. 2017(52)
[6]动态网络环境下的音视频同步技术[J]. 杨勇智. 信息记录材料. 2017(11)
[7]一种基于FFMPEG的音视频同步算法[J]. 曾碧,张宇. 广东工业大学学报. 2017(04)
[8]基于级联卷积神经网络的人脸关键点定位[J]. 陈锐,林达. 四川理工学院学报(自然科学版). 2017(01)
[9]基于DSP的实时语音压缩编解码系统的设计与实现[J]. 李英华,张颖颖. 电子技术与软件工程. 2017(01)
[10]计算机通信中虚拟现实技术的应用[J]. 张蓓. 电子技术与软件工程. 2016(23)
硕士论文
[1]语音信道数据传输算法设计与实现[D]. 刘龙飞.西安电子科技大学 2018
[2]基于实时表情驱动的三维人脸模型控制研究[D]. 黄明阳.哈尔滨工程大学 2018
[3]基于深度学习的鲁棒表情关键点定位算法设计与实现[D]. 彭营营.北京交通大学 2017
[4]基于XMPP协议的移动平台即时通信系统的设计与实现[D]. 鱼萌.浙江工业大学 2016
[5]基于特征提取和特征选择的级联深度学习模型研究[D]. 王维智.哈尔滨工业大学 2015
本文编号：3328422
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图３－１业务功能需求图??
添，理，后时通信，同时可以跟好友进行３Ｄ虚拟动画聊天。从用户需求出发，将用户对??个模块的需求总结如下：??１）注册管理功能：实现对用户创建账号做管理。??２）登录管理功能：实现对用户登录系统做管理。??３）好友管理功能：实现对用户好友关系的维护，实现好友间添加好友操作??管理。展示出各个用户的好友列表、添加好友信息、好友列表快速查找等。??４）即时通信管理功能：实现用户间的实时通信，包括文本消息和语音消息??实时发送、转发和接收，同样也包括虚拟聊天中的即时通信管理。??５）虚拟聊天管理功能：实现对用户人脸关键点定位，人脸关键点数据对模??型的驱动，用户间语音的实时录制、传输和播放等管理。??．２．２用户用例分析??用户用例模型是连接用户需求与系统设计的桥梁。本课题从用户需求出发，??析用户用例，从而可以在整个系统设计开发流程中起到指导作用。本课题３Ｄ??拟动画即时通信系统的系统用例图如图３－２所示：??
是用于对学习出来的模型，调整分类器的参数，验证集还用来确定网络结构或者??控制模型复杂程度的参数。测试集主要是用于测试训练好的模型的分辨能力。人??脸关键点定位模型的设计框图如图４－２所示：??■Ｉ??ＣＮＮ?丨?｜?ＣＮＮ??１?１?１??ＡＳ１?ＡＳ２??Ｓ〇???Ｋ）??？０??Ｓ１?Ｔ２（Ｓ１）＋厶?Ｓ２??▼?▼??Ｉ?Ｉ?Ｉ??连接层?ｉ??？?点坐标相似逆变换??ｌ?厂?厂?ｌ?Ｉ?????ｉ???结果??图４－２人脸关键点定位模型设计框图??在模型设计中，具体的网络结构包括：１、ＣＮＮ：卷积神经网络，用于生成??人脸关键点坐标；２、连接层：将原始图像及上层得出的人脸关键点坐标进行相??似变换，生成相似变换后的图像、热力图和特征图，作为下一层ＣＮＮ的输入；??３、点坐标相似逆变换：将进行过相似变换的人脸关键点坐标逆变换为与原始图??像对应的人脸关键点坐标，即最终结果。??模型的输入为整张原始图片，首先经过卷积神经网络，得到６８个定位点的??偏移量４５１，与ｍｅａｎｓｈａｐｅ?（训练集所有人脸关键点坐标均值）相加得到第一层??网络输出的６８个人脸关键点定位数据５１；?５１和原始图片经过连接层得到相似变??换后的人脸关键点热力图、相似变换后的图片以及特征图片
【参考文献】：
期刊论文
[1]虚拟现实技术的发展与应用[J]. 张益玮. 通讯世界. 2018(09)
[2]面向通信与计算融合的5G移动增强/虚拟现实[J]. 周一青,孙布勒,齐彦丽,彭燕,刘玲,张志龙,刘奕彤,刘丹谱,李兆歆,田霖. 电信科学. 2018(08)
[3]级联神经网络人脸关键点定位研究[J]. 井长兴,章东平,杨力. 中国计量大学学报. 2018(02)
[4]一种面向互联网应用的多路实时流媒体同步合成方案[J]. 王英兰,刘晓强,李柏岩,宋晖,陶抒青,蔡立志,刘振宇. 东华大学学报(自然科学版). 2018(01)
[5]利用Unity3D在Android平台开发移动AR应用的研究[J]. 张艳. 教育教学论坛. 2017(52)
[6]动态网络环境下的音视频同步技术[J]. 杨勇智. 信息记录材料. 2017(11)
[7]一种基于FFMPEG的音视频同步算法[J]. 曾碧,张宇. 广东工业大学学报. 2017(04)
[8]基于级联卷积神经网络的人脸关键点定位[J]. 陈锐,林达. 四川理工学院学报(自然科学版). 2017(01)
[9]基于DSP的实时语音压缩编解码系统的设计与实现[J]. 李英华,张颖颖. 电子技术与软件工程. 2017(01)
[10]计算机通信中虚拟现实技术的应用[J]. 张蓓. 电子技术与软件工程. 2016(23)
硕士论文
[1]语音信道数据传输算法设计与实现[D]. 刘龙飞.西安电子科技大学 2018
[2]基于实时表情驱动的三维人脸模型控制研究[D]. 黄明阳.哈尔滨工程大学 2018
[3]基于深度学习的鲁棒表情关键点定位算法设计与实现[D]. 彭营营.北京交通大学 2017
[4]基于XMPP协议的移动平台即时通信系统的设计与实现[D]. 鱼萌.浙江工业大学 2016
[5]基于特征提取和特征选择的级联深度学习模型研究[D]. 王维智.哈尔滨工业大学 2015
本文编号：3328422
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3328422.html
