基于Web的舆情采集与分析技术研究

发布时间：2020-05-27 09:53

【摘要】：在当下复杂的网络环境中,随着网络渠道的多样化及网民覆盖面的扩大化,由人为主观产生的舆情信息量也愈加庞大,因此研究现代网络舆情的分析与判断模型是基于数据价值的方向之一,舆情挖掘可以用于社会公共安全、电子商务等诸多领域,具有实际的研究价值。课题主要研究的内容包括四个方面:首先,深入研究了数据挖掘相关技术,以此为理论基础,对相关概念进行分析和研究,着重对数据挖掘相关技术的应用进行阐述;深入研究数据挖掘算法、对常用框架Mahout以及Hadoop框架进行探讨。然后,对其重要组成部分以及研究过程中涉及的其他方法和理论进行研究。其次,介绍了用于分析舆情数据的舆情分析模型的设计,并结合聚类分析算法,形成了一种新型的串并分析模型。将Mahout中的聚类算法与Hadoop相结合,并对行的算法模型进行改进与优化。最后,基于推荐思想,设计与实现了公众舆论推荐模型,并且将该模型与热门舆论模型进行结合,从而得到了舆论推荐模型的框架。通过实验,验证和总结了热点舆情推荐体系,通过分析输入和推送热点舆情列表对结果进行测试和优化。使设计更加合理,满足设计需求。
【图文】：

Taste架构图

Taste开发流程图
【学位授予单位】：哈尔滨理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;TP393.09

【相似文献】

相关期刊论文 前10条

1 邵兴江;;数据挖掘在教育信息化中的应用空间分析[J];浙江现代教育技术;2004年03期

2 于春香;;数据挖掘技术简介[J];福建信息技术教育;2005年01期

3 周致丞;;大数据下一种规则的快速挖掘技术研究[J];河南科技;2018年25期

4 蔡萌萌;张巍巍;王泓霖;;大数据时代的数据挖掘综述[J];价值工程;2019年05期

5 张泽;吕新;侯彤瑜;;数据挖掘在农业信息化中的应用进展探析[J];信息记录材料;2019年01期

6 张俊杰;;恰当的水务大数据才符合数据挖掘的需求[J];城乡建设;2019年02期

7 王彬;;数据挖掘构成要素的侦查视角分析[J];河南警察学院学报;2019年02期

8 程志;张玉彤;贾彪;;远距离光纤通信传输故障数据挖掘方法[J];激光杂志;2019年04期

9 赵乌吉斯古楞;;数据挖掘的研究热点和发展趋势的浅谈[J];电脑知识与技术;2019年08期

10 李智峰;段蔓;;浅谈计算机数据挖掘技术的开发及应用探究[J];信息技术与信息化;2019年05期

相关会议论文 前10条

1 马钰超;;浅析大数据和数据挖掘及其在烟草行业中的应用[A];中国烟草学会2015年度优秀论文汇编[C];2015年

2 唐杰;梅俏竹;;数据挖掘学科发展研究[A];2012-2013控制科学与工程学科发展报告[C];2014年

3 王时光;;大数据时代规划数据挖掘的创新思考[A];新常态：传承与变革——2015中国城市规划年会论文集（04城市规划新技术应用）[C];2015年

4 史东辉;蔡庆生;张春阳;;一种新的数据挖掘多策略方法研究[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

5 谢中;邱玉辉;;面向商务网站有效性的数据挖掘方法[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

6 许珂;姜山;;数据挖掘方法在科技产出分布可视化研究中的运用[A];第二届中国科技哲学及交叉学科研究生论坛论文集（硕士卷）[C];2008年

7 雷宇;;论行业信息资源的数据挖掘[A];中国烟草行业信息化研讨会论文集[C];2004年

8 吴以凡;吴铁军;欧阳树生;;面向生产过程质量控制的动态数据挖掘方法[A];05'中国自动化产业高峰会议暨中国企业自动化和信息化建设论坛论文集[C];2005年

9 彭怡;;从数据挖掘文章聚类分析看其发展趋势[A];现代工业工程与管理研讨会会议论文集[C];2006年

10 张建锦;刘小霞;;密度偏差抽样及其在海量数据挖掘中的应用[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

相关重要报纸文章 前10条

1 陆天歌 王兆亮;数据挖掘：帮你读懂未来战争[N];解放军报;2018年

2 本报记者 戴丽昕;在人才工作中展现数据挖掘力量[N];上海科技报;2019年

3 本报记者 林丽鹂;用大数据挖掘市场“金矿”[N];人民日报;2019年

4 本报记者 张佳星;把扎克伯格拉下水，，大数据挖掘犯错了吗[N];科技日报;2018年

5 本报记者 张佳星;数据挖掘大战 机器怎么做到“见信如面”[N];科技日报;2018年

6 记者 张潇;打造数据挖掘领域的“响尾蛇模式”[N];西安日报;2018年

7 上海市浦东卫生发展研究院 孙雪松 王晓丽;数据挖掘在医学大数据研究中的应用[N];中国信息化周报;2018年

8 本报记者 叶曜坤;全国人大代表邓晓辉：推翻阻碍数据挖掘的“三座大山”[N];人民邮电;2017年

9 本报记者 牛福莲;贵州争夺“大数据挖掘”制高点[N];中国经济时报;2017年

10 南方日报记者 彭颖;日化巨头借力大数据挖掘线下市场[N];南方日报;2017年

相关博士学位论文 前10条

1 黄柏文;基于数据挖掘的徐力教授治疗晚期肺癌经验总结及常用药对实验研究[D];南京中医药大学;2019年

2 姜彦;正则化方法在数据挖掘中的应用与研究[D];湖南大学;2015年

3 马昱欣;结合可视化与数据挖掘的数据分析方法探究[D];浙江大学;2017年

4 李雄;单核苷酸多态性数据挖掘方法及其应用研究[D];湖南大学;2015年

5 董瑶;基于统计分析与数据挖掘的智能优化预测研究及应用[D];兰州大学;2015年

6 王达;时间序列数据挖掘研究与应用[D];浙江大学;2004年

7 马昕;粗糙集理论在数据挖掘领域中的应用[D];浙江大学;2003年

8 王立宏;信息系统的约简与粒度分析及其在数据挖掘中的应用[D];上海大学;2004年

9 杨虎;序列数据挖掘的模型和算法研究[D];重庆大学;2003年

10 李秋丹;数据挖掘相关算法的研究与平台实现[D];大连理工大学;2004年

相关硕士学位论文 前10条

1 迟海成;数据挖掘中关联规则算法的研究与实现[D];天津理工大学;2019年

2 杨建;基于数据挖掘的智能财务审计系统研究与实现[D];河北经贸大学;2019年

3 刘瀚琳;基于数据挖掘的电力负荷预测与偏差预警[D];浙江大学;2019年

4 李景龙;基于数据挖掘的电子商务卖家分层模型研究[D];北京邮电大学;2019年

5 姚远;基于分层线性模型的中高考数据挖掘[D];北京邮电大学;2019年

6 魏璇;基于历史数据挖掘的异常目标识别系统的设计与实现[D];北京邮电大学;2019年

7 朱倩云;陈玉超主任运用中医药辨治肺癌的经验探析[D];南京中医药大学;2019年

8 姜建东;基于数据挖掘的江苏省中医院宫颈癌辨治经验总结[D];南京中医药大学;2019年

9 汤海林;士材学派辨治肿瘤学术思想的传承及衍变规律研究[D];南京中医药大学;2019年

10 蒋梦婷;基于数据挖掘的周仲瑛教授胆石症证治研究[D];南京中医药大学;2019年

本文编号：2683356