当前位置:主页 > 科技论文 > 软件论文 >

面向大数据的语音日志分析系统的设计与实现

发布时间:2018-09-18 19:56
【摘要】:大数据时代已经来临并已有阶段性的发展,随着基础设备进一步完善,越来越多的数据得以被发觉、利用。许多公司甚至提出了无数据,不智能的口号。市场上也涌现出了许多商业智能公司的产品,催生出了数据分析产业这一跨学科的边缘科学行业,整个数据分析产业链包括数据采集、数据存储、数据处理、数据分析及结果呈现,商业决策。目前,市场上的数据分析产品基本停留在对数据的统计,分析指标不够细化的阶段,本文围绕用户使用产品产生的语音数据进行分析,旨在搭建一个功能完善,交互性强,可扩展的语音日志分析系统,这对推进数据分析产业产品的研发具有重大意义。为搭建完整的语音日志分析系统,本文参考大量文献资料与市场产品,分析了该系统所需技术,数据分析所需方法,学习研究语音日志分析系统关键技术,主要研究工作包括:第一,为解决如何展示语音日志分析结果的问题,提出一种基于Django框架的语音日志分析系统搭建方法。Django是由Python编写,基于MVC架构的一个开源的web框架。开发者可根据此框架快速开发自己的web应用。本文完成了基于Django框架的语音日志分析系统的搭建,使用HTML、CSS、JS语言编写页面,为语音数据分析结果的展示奠定了基础。第二,分别从统计数据分析和数据挖掘分析两个方面对语音数据进行了全面分析。统计数据分析包括数据分析平台常见的分析指标如服务量,用户量,人均服务量及增长率,机型排名,地域排名等。数据挖掘分析包括以数据挖掘技术、语音纠错技术等为核心的数据分析技术,完成了用户分群、流失用户预测、用户画像等功能。第三,对语音日志分析系统的功能进行了扩展。结合用户语音与影视数据,在对真实数据的充分分析的前提下,提出了一种结合用户画像的相关电影推荐方法。经证明,该方法具有较高的推荐效果。
[Abstract]:Big data era has come and has been phased development, with the further improvement of infrastructure, more and more data can be found and used. Many companies even put forward the slogan of no data, no intelligence. There are also many products of business intelligence companies emerging in the market, resulting in the data analysis industry, an interdisciplinary and fringe scientific industry. The entire data analysis industry chain includes data collection, data storage, data processing, Data analysis and presentation of results, business decisions. At present, the data analysis products in the market basically stay at the stage of statistics of the data, the analysis index is not detailed enough. This paper focuses on the analysis of the voice data generated by the user using the product, in order to build a perfect function and strong interactivity. The scalable voice log analysis system is of great significance to the R & D of data analysis industry. In order to build a complete voice log analysis system, this paper, referring to a large amount of literature and market products, analyzes the required technology and methods of data analysis, and studies the key technologies of the voice log analysis system. The main research work includes: first, in order to solve the problem of how to display the results of voice log analysis, this paper proposes a method to build a voice log analysis system based on Django framework. Django is an open source web framework written by Python and based on MVC architecture. Developers can quickly develop their own web applications based on this framework. In this paper, a voice log analysis system based on Django framework is built, and the page is written in HTML,CSS,JS language, which lays a foundation for the display of voice data analysis results. Secondly, the speech data are analyzed from two aspects: statistical data analysis and data mining analysis. Statistical data analysis includes common analysis indicators such as service volume, user quantity, per capita service volume and growth rate, aircraft ranking, regional ranking and so on. Data mining analysis includes data analysis technology based on data mining technology, voice correction technology and so on. The functions of user grouping, losing user prediction, user portrait and so on are accomplished. Thirdly, the function of voice log analysis system is extended. Based on the analysis of the real data and the user voice and video data, this paper proposes a new method to recommend the relevant films with the help of the user's portrait. It has been proved that this method has high recommended effect.
【学位授予单位】:山东大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13

【相似文献】

相关期刊论文 前10条

1 文娟,薛永生,段江娇,王劲波;基于关联规则的日志分析系统的设计与实现[J];厦门大学学报(自然科学版);2005年S1期

2 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期

3 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期

4 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期

5 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期

6 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期

7 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期

8 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期

9 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期

10 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期

相关会议论文 前10条

1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集(下册)[C];2013年

2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年

5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年

7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年

8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年

9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年

相关重要报纸文章 前10条

1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年

2 ;日志分析中的五个误区[N];网络世界;2004年

3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

4 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年

5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年

6 重庆 航行者;IIS的安全[N];电脑报;2002年

7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年

8 shotgun;入侵检测初步(上)[N];电脑报;2001年

9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年

10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年

相关博士学位论文 前3条

1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年

2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年

3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年

相关硕士学位论文 前10条

1 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年

2 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年

3 赖特;网络安全设备日志融合技术研究[D];电子科技大学;2015年

4 董妍妍;基于Hadoop的Teradata数据仓库日志分析系统的设计与实现[D];南京大学;2014年

5 李名弈;IPTVQOS日志分析方法研究[D];复旦大学;2013年

6 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年

7 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年

8 周云斌;基于主机的日志大数椐分析及安全性检查[D];大连理工大学;2015年

9 张迪;基于NoSQL的大规模Web日志分析系统的设计与实现[D];复旦大学;2013年

10 潘宇轩;基于Django的日志分析系统的设计与实现[D];南京大学;2014年



本文编号:2248960

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2248960.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户42f54***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com