互联网内容分析系统的设计与实现

发布时间：2020-08-14 20:09

【摘要】：随着当今互联网行业的蓬勃发展,网络内容及相关资源呈现碎片化和无序化,用户在网络中的行为和兴趣导向越来越难以捕捉,因此对于基础网络运营商来讲,如何正确合理地引导用户上网行为和监测网上内容导向已成为急需解决的首要任务。互联网内容分析系统(Internet Content Analyze,ICA)是针对给定URL(Uniform Resource Locator,统一资源定位符)进行识别与分类,还原用户上网场景的系统。通过互联网内容分析对DPI(Deep Packet Inspection,深度报文解析技术)的增强解析,可以提升用户上网行为识别的精度和粒度,为建设用户标签体系和精准画像提供数据支持,进一步支撑基于偏好和时机的精准营销和实时营销。本人在实习公司负责互联网内容分析系统的开发,系统主要包括九个功能模块,本人负责开发了上网场景识别、场景行为识别、场景内容识别、内容分类、输入输出模块、主被动模块识别、规则维护平台七个功能模块。主要技术包括Hadoop分布式处理的软件框架、MapReduce编程模型,URL识别、APP应用二次识别、高性能的解析引擎,其中规则维护平台是基于SpringMVC框架开发的,提高了维护规则库的效率,采用了 MyBatis持久化框架进行数据访问,采用Redis进行数据缓存。电信运营商为了保障自有业务的健康持续发展,以及减缓自身被管道化的进程,有效地复制互联网行业业务和内容营销模式,需要业务部门有针对性地了解用户对业务和内容的偏好,用户上网浏览内容的习惯等,为自有业务的改进和营销内容的更新提供有力的依据。目前系统已经上线,各部分功能运转良好,已经满足公司各部门的业务需要,极大的提高了各部门的工作效率。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP393.09

【参考文献】

相关期刊论文 前10条

1 黄丽丽;;移动互联网下的运营商大数据应用分析[J];信息与电脑(理论版);2017年24期

2 程然;;电信运营商大数据关键技术及典型应用[J];网络安全技术与应用;2017年08期

3 莫加亮;;基于Hadoop技术的电信大数据分析平台的设计分析[J];网络安全技术与应用;2017年06期

4 傅云瑾;;电信运营商大数据运营能力提升的思考[J];电信科学;2016年S1期

5 沙甲戊;;运营商大数据服务平台与典型应用模式研究[J];移动通信;2016年04期

6 郑雪菲;;国外电信运营商大数据应用及启示[J];移动通信;2015年13期

7 胡舜耕;魏进武;;大数据及其在电信运营中的应用研究[J];电信技术;2015年01期

8 韩晶;张智江;王健全;王亚松;;面向统一运营的电信运营商大数据战略[J];电信科学;2014年11期

9 汤莉;;互联网内容资源管理平台的应用研究[J];中国新通信;2014年11期

10 徐R

本文编号：2793492