一种基于多模态特征的新闻视频语义提取框架

发布时间：2018-08-15 19:06

【摘要】：为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。
[Abstract]:In order to improve the accuracy of video semantic information extraction, a framework of news video semantic extraction based on multi-modal features is proposed. The subject caption information is extracted from the video, and the audio is classified and recognized. According to the topic caption information, the web pages related to the news video are obtained by using the search engine. Finally, the results of speech recognition are corrected by the web page text. In order to improve the accuracy of video semantic extraction by cross-modal fusion of video subtitle information and voice script. The effectiveness of the proposed method is demonstrated by testing the medium scale news video (including news web pages) library. The accuracy of speech recognition after error correction is about 65%.
【作者单位】： 西安电子科技大学通信工程学院;北京电子科技学院;
【基金】：国家自然科学基金资助项目(60972139) 北京市自然科学基金资助项目(4092041)
【分类号】：TP391.41

【参考文献】

相关期刊论文 前2条

1 李雪龙;封化民;刘飚;焦黎冰;;一种改进的视频标题检测与提取方法[J];江西师范大学学报(自然科学版);2008年02期

2 刘亚楠;吴飞;庄越挺;;基于多模态子空间相关性传递的视频语义挖掘[J];计算机研究与发展;2009年01期

相关博士学位论文 前2条

1 冀中;基于多模态信息的新闻视频内容分析技术研究[D];天津大学;2007年

2 赵志诚;故事视频的语义分析与提取[D];北京邮电大学;2008年

【共引文献】

相关期刊论文 前2条

1 马玲;张重阳;郑世宝;;基于Ontology的监控视频描述方案[J];电视技术;2011年03期

2 代科学;李强;李国辉;;视频挖掘研究进展[J];计算机科学;2010年10期

相关博士学位论文 前2条

1 吴郑红;教学视频的语义标注研究[D];华东师范大学;2011年

2 王振;数字视频中文本的提取方法研究[D];中国海洋大学;2011年

相关硕士学位论文 前6条

1 夏玉华;基于高校图书馆学术讲座视频的快速浏览技术研究[D];山东大学;2010年

2 马玲;基于本体的监控视频描述与检索研究及流媒体发布平台开发[D];上海交通大学;2010年

3 李鹏飞;多媒体应用安全分析与设计[D];西安电子科技大学;2009年

4 杨厚德;视频广告的自动识别与检测[D];北京交通大学;2011年

5 万建平;新闻视频语义概念检测技术研究[D];解放军信息工程大学;2011年

6 张羽飞;具有视频摘要功能的流媒体系统[D];北京邮电大学;2012年

【二级参考文献】

相关期刊论文 前10条

1 路春艳;;全球化时代美国类型电影的发展趋势[J];北京社会科学;2006年02期

2 路易·阿尔都塞 ,李迅;意识形态和意识形态国家机器[J];当代电影;1987年03期

3 俞天力,章毓晋;基于全局运动信息的视频检索技术[J];电子学报;2001年S1期

4 李晓光;李晓华;沈兰荪;;一种基于多级梯度能量特征的DCT压缩域人脸检测算法[J];电子学报;2005年12期

5 薄华;马缚龙;焦李成;;图像纹理的灰度共生矩阵计算问题的分析[J];电子学报;2006年01期

6 周俊生;戴新宇;尹存燕;陈家骏;;基于层叠条件随机场模型的中文机构名自动识别[J];电子学报;2006年05期

7 姜帆,章毓晋;一种基于形态学操作的新闻标题条检测算法[J];电子与信息学报;2003年12期

8 黄剑华;颜子夜;唐降龙;;基于小波重构的视频图像文本检测方法[J];哈尔滨工业大学学报;2006年09期

9 庄越挺,毛yN,吴飞,潘云鹤;基于隐马尔可夫链的广播新闻分割分类[J];计算机研究与发展;2002年09期

10 王方石,须德,吴伟鑫;基于自适应阈值的自动提取关键帧的聚类算法[J];计算机研究与发展;2005年10期

相关博士学位论文 前4条

1 谢毓湘;辅助情报分析的新闻视频挖掘技术研究[D];国防科学技术大学;2004年

2 陈剑峗;体育视频语义内容分析技术研究[D];国防科学技术大学;2005年

3 章东平;视频文本的提取[D];浙江大学;2006年

4 魏维;基于统计学的视频语义分析与提取技术研究[D];南京理工大学;2006年

【相似文献】

相关期刊论文 前10条

1 史迎春,方鹏飞,周献中;综合利用声视特征的新闻视频结构化模型[J];计算机工程与应用;2004年32期

2 ;语音识别软件西风渐起[J];微电脑世界;1998年50期

3 金良磊;;“嘴”行天下——Vista语音识别上手全揭密[J];电脑知识与技术(经验技巧);2007年03期

4 姚兵;君子动口不动手——声龙语音识别系统使用手记[J];微电脑世界;2000年29期

5 李明琴,李涓子,王作英,陆大獾;语义分析和结构化语言模型[J];软件学报;2005年09期

6 宋连党;;时尚Office应用系列——用语音写封信[J];电脑爱好者(普及版);2007年07期

7 骄阳;你的PC能听懂说话吗?——介绍4种语音识别软件[J];电脑;1999年05期

8 杰里米·瓦格斯塔夫;让语音识别软件 解放你的双手[J];农业图书情报学刊;2004年03期

9 梁尧,杨家沅;语音理解中语法与语义分析的方法与实现[J];四川大学学报(自然科学版);1992年02期

10 唐波,刘雨,孙茂印;基于数据库的视频检索实现[J];电视技术;2005年02期

相关会议论文 前10条

1 梁W，

本文编号：2185131