基于云服务的AI玩偶的研究及在教育教学中的应用
发布时间：2021-11-22 12:30
在人工智能时代,以"会说话的汤姆猫"应用为代表的虚拟化、智能化的玩偶软件愈加得到人们的青睐。从教育的角度,它们能提供儿童陪伴、辅助学习等功能。但是,对于教育领域的研究人员而言,受限于AI技术的复杂性、智能终端的硬件和网络条件,构建功能丰富、用户体验良好的AI玩偶应用较为困难。针对该问题,提出了快速构建一个Android平台AI玩偶应用软件的解决方案,并集成了多个第三方提供的云服务实现了人脸合成3D玩偶、语音转换、语音评测及社交分享等功能。通过性能测试和与相关研究做比较,该AI玩偶应用框架适用于主流的Android终端,具有良好的响应速度和用户体验,能成为辅助教育教学的工具。
【文章来源】：计算机工程与科学. 2018,40(S1)北大核心CSCD
【文章页数】：9 页
【部分图文】：
图２ＡＩ玩偶软件的体系架构图Ｆｉｇｕｒｅ２ＡｒｃｈｉｔｅｃｔｕｒｅｏｆｔｈｅｐｒｏｐｏｓｅｄＡＩａｖａｔａｒ
Ｆｉｇｕｒｅ３Ｆｌｏｗｃｈａｒｔｏｆｈｕｍａｎｆａｃｅｓｙｎｔｈｅｓｉｓ图３ＡＩ玩偶的人脸合成机制图动态数组中；当最后一张脸计算结束，用冒泡法选择出最大的相似度人脸信息；然后，将与相似度对应的人脸信息按内部自定义协议打包，发送到玩偶库，其将输出与用户相似的玩偶形象。最后将人脸合成结果返回到用户界面。由于人脸库与特征点库是静态绑定的，当人脸合成算法获取到人脸信息时，即可获得与之对应的唯一特征点信息。人脸合成机制主要分为三个阶段：训练阶段、识别阶段和选择阶段。该机制融合了主成分分析ＰＣＡ（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）算法的思想［２７］。训练阶段要对人脸进行拟选，先将人脸进行分类（可按脸型、嘴型等），然后在当前已有的分组中再拣选出具有该组共有特征的脸。在人脸中，除一个组像之外，还有其他的特征组像。每个组像都依此流程进行选择，然后将相应的部件存储下来，形成人脸库。人脸库确定之后，对各个脸的特征点数据进行测试。为了提高相似度的准确性，将各个特征点按比例处理后进行分类，然后将各个人脸的特征点以Ｊｓｏｎ格式存储在本地的ＳＱＬｉｔｅ数据库中，形成特征点库。将特征点库与人脸库进行静态绑定后，即完成训练阶段。在识别阶段，调用了科大讯飞的人脸识别和特征点返回云端服务。首先，获取用户的图像信息，照片来源可以通过调用移动端摄像头拍照或者打开本地照片选取。然后，调用人脸识别云端服务，由云服务进行计算和分析，输出人脸上具体的特征点的位
对２Ｄ人脸照片的要求，可以识别以正前方为原点，在左右偏差（－４５°，＋４５°）的范围的人脸。关键在于其获取到人脸数据之后，并非直接计算，而是比例化数据和镜像处理数据；若人脸有一定的角度偏移，可根据其偏移的角度和数据的比例信息还原出原脸信息。４．２语音转换机制语音转换算法实现了由语音触发动作、动画与语音同步播放，其实现机制如图４所示。Ｆｉｇｕｒｅ４ＦｌｏｗｃｈａｒｔｏｆｓｐｅｅｃｈｃｏｎｖｅｒｓｉｏｎｏｆｔｈｅＡＩａｖａｔａｒ图４ＡＩ玩偶的语音转换流图结合科大讯飞的语音合成和语音识别等技术实现语音—文本—语音的语音转换系统。语音监听获取到语音信息，将其转化为文本信息；语音监听也支持文本输入。具体而言，将获取到的文本信息输入到关键字提取算法；该算法调用字符库中的信息，将字符库的信息与接收到的信息进行字符匹配，提取出关键字信息，并打包发送到动画库；动画库与字符库之间是动态绑定，输出与字符对应的动画；信息处理组件接收到关键字的信息，会同时控制文本信息与动画的同步播放。动画库是系统预存储的由多张图片实现的帧动画。所有的图片存储了之后，使用ＸＭＬ文件进行组织，形成连续的动画。而动画库与字符库之间是动态绑定的。动态绑定相比于静态绑定，不仅在语法上对输入信息进行处理，在语义上也能进行识别。４．３视频录制合成和分享视频录制合成与分享是基于Ｍｏｂ移动服务开发的，Ｍｏｂ服务平台提供视频录制和合成接口，也支持多平台、多形式的分享。具体方法是：首
【参考文献】：
期刊论文
[1]人工智能赋能教育与学习[J]. 贾积有. 远程教育杂志. 2018(01)
[2]构筑“人工智能+教育”的生态系统[J]. 吴永和,刘博文,马晓玲. 远程教育杂志. 2017(05)
[3]改进的模块PCA人脸识别新算法[J]. 赵鑫,汪维家,曾雅云,熊才伟,任彦嘉. 计算机工程与应用. 2015(02)
[4]基于声学统计建模的语音合成技术研究[J]. 胡郁,凌震华,王仁华,戴礼荣. 中文信息学报. 2011(06)
[5]一种SaaS模式下的服务社区模型及其在全国科技信息服务网中的应用[J]. 王卓昊,赵卓峰,房俊,王希诚. 计算机学报. 2010(11)
[6]改进的主动形状模型方法在人脸特征点定位中的应用[J]. 戈新良,杨杰,张田昊,杜春华. 上海交通大学学报. 2007(08)
[7]一种改进的KMP高效模式匹配算法[J]. 鲁宏伟,魏凯,孔华锋. 华中科技大学学报(自然科学版). 2006(10)
[8]一种改进的BM模式匹配算法[J]. 杨薇薇,廖翔. 计算机应用. 2006(02)
[9]计算机人脸合成系统的设计与实现[J]. 李武军,任中方,陈兆乾. 计算机应用研究. 2004(07)
[10]人脸检测研究综述[J]. 梁路宏,艾海舟,徐光祐,张钹. 计算机学报. 2002(05)
硕士论文
[1]Android平台上基于云服务的随身翻译工具的设计与实现[D]. 盛玉林.复旦大学 2013
本文编号：3511694
【文章来源】：计算机工程与科学. 2018,40(S1)北大核心CSCD
【文章页数】：9 页
【部分图文】：
图２ＡＩ玩偶软件的体系架构图Ｆｉｇｕｒｅ２ＡｒｃｈｉｔｅｃｔｕｒｅｏｆｔｈｅｐｒｏｐｏｓｅｄＡＩａｖａｔａｒ
Ｆｉｇｕｒｅ３Ｆｌｏｗｃｈａｒｔｏｆｈｕｍａｎｆａｃｅｓｙｎｔｈｅｓｉｓ图３ＡＩ玩偶的人脸合成机制图动态数组中；当最后一张脸计算结束，用冒泡法选择出最大的相似度人脸信息；然后，将与相似度对应的人脸信息按内部自定义协议打包，发送到玩偶库，其将输出与用户相似的玩偶形象。最后将人脸合成结果返回到用户界面。由于人脸库与特征点库是静态绑定的，当人脸合成算法获取到人脸信息时，即可获得与之对应的唯一特征点信息。人脸合成机制主要分为三个阶段：训练阶段、识别阶段和选择阶段。该机制融合了主成分分析ＰＣＡ（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）算法的思想［２７］。训练阶段要对人脸进行拟选，先将人脸进行分类（可按脸型、嘴型等），然后在当前已有的分组中再拣选出具有该组共有特征的脸。在人脸中，除一个组像之外，还有其他的特征组像。每个组像都依此流程进行选择，然后将相应的部件存储下来，形成人脸库。人脸库确定之后，对各个脸的特征点数据进行测试。为了提高相似度的准确性，将各个特征点按比例处理后进行分类，然后将各个人脸的特征点以Ｊｓｏｎ格式存储在本地的ＳＱＬｉｔｅ数据库中，形成特征点库。将特征点库与人脸库进行静态绑定后，即完成训练阶段。在识别阶段，调用了科大讯飞的人脸识别和特征点返回云端服务。首先，获取用户的图像信息，照片来源可以通过调用移动端摄像头拍照或者打开本地照片选取。然后，调用人脸识别云端服务，由云服务进行计算和分析，输出人脸上具体的特征点的位
对２Ｄ人脸照片的要求，可以识别以正前方为原点，在左右偏差（－４５°，＋４５°）的范围的人脸。关键在于其获取到人脸数据之后，并非直接计算，而是比例化数据和镜像处理数据；若人脸有一定的角度偏移，可根据其偏移的角度和数据的比例信息还原出原脸信息。４．２语音转换机制语音转换算法实现了由语音触发动作、动画与语音同步播放，其实现机制如图４所示。Ｆｉｇｕｒｅ４ＦｌｏｗｃｈａｒｔｏｆｓｐｅｅｃｈｃｏｎｖｅｒｓｉｏｎｏｆｔｈｅＡＩａｖａｔａｒ图４ＡＩ玩偶的语音转换流图结合科大讯飞的语音合成和语音识别等技术实现语音—文本—语音的语音转换系统。语音监听获取到语音信息，将其转化为文本信息；语音监听也支持文本输入。具体而言，将获取到的文本信息输入到关键字提取算法；该算法调用字符库中的信息，将字符库的信息与接收到的信息进行字符匹配，提取出关键字信息，并打包发送到动画库；动画库与字符库之间是动态绑定，输出与字符对应的动画；信息处理组件接收到关键字的信息，会同时控制文本信息与动画的同步播放。动画库是系统预存储的由多张图片实现的帧动画。所有的图片存储了之后，使用ＸＭＬ文件进行组织，形成连续的动画。而动画库与字符库之间是动态绑定的。动态绑定相比于静态绑定，不仅在语法上对输入信息进行处理，在语义上也能进行识别。４．３视频录制合成和分享视频录制合成与分享是基于Ｍｏｂ移动服务开发的，Ｍｏｂ服务平台提供视频录制和合成接口，也支持多平台、多形式的分享。具体方法是：首
【参考文献】：
期刊论文
[1]人工智能赋能教育与学习[J]. 贾积有. 远程教育杂志. 2018(01)
[2]构筑“人工智能+教育”的生态系统[J]. 吴永和,刘博文,马晓玲. 远程教育杂志. 2017(05)
[3]改进的模块PCA人脸识别新算法[J]. 赵鑫,汪维家,曾雅云,熊才伟,任彦嘉. 计算机工程与应用. 2015(02)
[4]基于声学统计建模的语音合成技术研究[J]. 胡郁,凌震华,王仁华,戴礼荣. 中文信息学报. 2011(06)
[5]一种SaaS模式下的服务社区模型及其在全国科技信息服务网中的应用[J]. 王卓昊,赵卓峰,房俊,王希诚. 计算机学报. 2010(11)
[6]改进的主动形状模型方法在人脸特征点定位中的应用[J]. 戈新良,杨杰,张田昊,杜春华. 上海交通大学学报. 2007(08)
[7]一种改进的KMP高效模式匹配算法[J]. 鲁宏伟,魏凯,孔华锋. 华中科技大学学报(自然科学版). 2006(10)
[8]一种改进的BM模式匹配算法[J]. 杨薇薇,廖翔. 计算机应用. 2006(02)
[9]计算机人脸合成系统的设计与实现[J]. 李武军,任中方,陈兆乾. 计算机应用研究. 2004(07)
[10]人脸检测研究综述[J]. 梁路宏,艾海舟,徐光祐,张钹. 计算机学报. 2002(05)
硕士论文
[1]Android平台上基于云服务的随身翻译工具的设计与实现[D]. 盛玉林.复旦大学 2013
本文编号：3511694
本文链接：https://www.wllwen.com/kejilunwen/rengongzhinen/3511694.html
