微博热点话题检测系统的设计与实现

发布时间：2018-07-14 17:23

【摘要】：描述了一个微博热点检测系统。管理者通过它可以快速了解正在发生的或是已发生的微博热点事件。系统采用调用微博API接口与改进爬虫程序相结合的方式获取网页数据,由于网络数据量巨大,为了提高效率,还采用了网页清理技术。重点介绍了话题活性模型的方法,系统可以根据时间坐标快速寻找热点话题,提高了热点话题发现的效率,大大降低了热点话题发现的时间复杂度。
[Abstract]:A Weibo hot spot detection system is described. It allows managers to quickly understand what is happening or what is happening with Weibo hotspots. The system adopts the combination of calling the Weibo API interface and improving the crawler program to obtain the web page data. Because of the huge amount of network data, in order to improve the efficiency, it also adopts the technology of page cleaning. The method of topic activity model is introduced in detail. The system can quickly find hot topic according to time coordinate, improve the efficiency of hot topic discovery, and reduce the time complexity of hot topic discovery.
【作者单位】： 武汉邮电科学研究院通信与信息系统;武汉虹旭信息技术有限责任公司;
【基金】：国家“863”计划项目(2012BAH38B05)
【分类号】：TP393.092;TP391.1

【参考文献】

相关期刊论文 前5条

1 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

2 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

3 丁杰;徐俊刚;;IPSMS:一个网络舆情监控系统的设计与实现[J];计算机应用与软件;2010年04期

4 廉捷;周欣;曹伟;刘云;;新浪微博数据挖掘方案[J];清华大学学报(自然科学版);2011年10期

5 曾依灵;许洪波;;网络热点信息发现研究[J];通信学报;2007年12期

【共引文献】

相关期刊论文 前10条

1 王正;陆余良;刘金红;施凡;;基于Lucene的互联网文献信息检索系统的研究[J];安徽大学学报(自然科学版);2009年05期

2 孙素芬;罗长寿;张峻峰;于峰;张树亮;;农业信息资源整合系统研究与应用[J];安徽农业科学;2007年22期

3 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期

4 廉捷;刘云;;网络舆情中的信息预处理与自动摘要算法[J];北京交通大学学报;2010年05期

5 黄美璇;;基于聚类分析的网络舆情监控系统的设计[J];宝鸡文理学院学报(自然科学版);2011年04期

6 石矛;方勇;曾祥平;王长辉;;IDM模型分析及其影响力改进算法[J];成都信息工程学院学报;2008年01期

7 任斌;毛应爽;;基于本体的主动学习主题爬行的研究与实现[J];长春工程学院学报(自然科学版);2011年01期

8 武昊;廖安平;何超英;侯东阳;;基于主题相关度的地理信息Web服务爬虫研究[J];地理与地理信息科学;2012年02期

9 毛晓蛟;;搜索引擎中网络蜘蛛的研究与实现[J];电脑编程技巧与维护;2010年18期

10 张超;闫宏印;;多线程网络爬虫的设计与实现[J];电脑开发与应用;2012年06期

相关会议论文 前7条

1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践（2009）[C];2010年

2 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

3 刘兵;胡学钢;;基于多链接分析的主题爬虫设计实现[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

4 季晨;;桥梁无线长期监测、报警及状态评估系统软件设计[A];高速重载与普通铁路桥隧运营管理与检测修理技术论文集（下册）[C];2010年

5 戴玉刚;;藏文网页采集技术研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

6 李恒训;张华平;秦鹏;于满泉;刘金刚;;基于主题词的网络热点话题发现[A];第五届全国信息检索学术会议论文集[C];2009年

7 单铁城;张安妮;马德辉;;基于爬虫改进算法的个性化搜索引擎应用研究[A];战略性新兴产业与科技支撑——2012年山东省科协学术年会论文集[C];2012年

相关博士学位论文 前10条

1 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

2 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年

3 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年

4 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年

5 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年

6 黄九鸣;面向舆情分析和属性发现的网络文本挖掘技术研究[D];国防科学技术大学;2011年

7 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

8 王英;Deep Web数据集成关键技术研究[D];吉林大学;2010年

9 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年

10 王占一;Web文本挖掘中若干问题的研究[D];北京邮电大学;2012年

相关硕士学位论文 前10条

1 吕芳芳;基于查询扩展的垂直搜索研究[D];山东科技大学;2010年

2 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年

3 蔡宇虹;基于主题的元搜索引擎关键技术研究[D];哈尔滨工程大学;2010年

4 秦宏宇;网络舆情热点发现相关技术研究[D];哈尔滨工程大学;2010年

5 王振超;基于Web2.0的艺术类网上考试系统的研究与实现[D];华东师范大学;2010年

6 史炜;个性化搜索引擎的研究与设计[D];电子科技大学;2010年

7 丁宝琼;网络文本信息采集分析关键技术研究与实现[D];解放军信息工程大学;2009年

8 王允;网络舆情数据获取与话题分析技术研究[D];解放军信息工程大学;2010年

9 李海林;网络舆情热点信息发现及其倾向性研究[D];武汉理工大学;2010年

10 沙有闯;基于Web文本挖掘的网络口碑监测系统研究[D];安徽大学;2010年

【二级参考文献】

相关期刊论文 前8条

1 张彦超;刘云;李勇;沈波;;基于自动生成模板的Web信息抽取技术[J];北京交通大学学报;2009年05期

2 李盛韬,赵章界,余智华;基于主题的Web信息采集系统的设计与实现[J];计算机工程;2003年17期

3 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

4 李卫;刘建毅;何华灿;王枞;;基于主题的智能Web信息采集系统的研究与实现[J];计算机应用研究;2006年02期

5 姚峰;;Java平台中Base64编码/解码算法的改进[J];计算机应用与软件;2008年12期

6 刘挺,吴岩,王开铸;串频统计和词形匹配相结合的汉语自动分词系统[J];中文信息学报;1998年01期

7 欧健文,董守斌,蔡斌;模板化网页主题信息的提取方法[J];清华大学学报(自然科学版);2005年S1期

8 傅向华,冯博琴,马兆丰,何明;可在线增量自学习的聚焦爬行方法[J];西安交通大学学报;2004年06期

相关硕士学位论文 前1条

1 邹纲;中文新词语自动检测研究[D];中国科学院研究生院（计算技术研究所）;2004年

【相似文献】

相关期刊论文 前10条

1 杜书杰,刘士才;用VB实现Windows95环境下的多媒体程序设计[J];计算机应用研究;1998年03期

2 金舒元,戴亚非,杜跃进;基于WEB的数据库发布技术[J];小型微型计算机系统;1998年07期

3 刘广聪,傅秀芬;Java组件机制——Java beans[J];通信世界;1998年03期

4 贺仁杰;WINDOWS95任务栏提示区图标的DELPHI实现[J];电脑编程技巧与维护;1998年05期

5 郝卫军,刘护群;Web服务器与数据库互连技术[J];计算机应用;1999年S1期

6 陈菁华,王学东,潘婷;Web数据库互连技术的比较[J];科技进步与对策;2000年08期

7 陈刚,陈志强,李国洪,孙东辉;Windows 9x串行通信程序设计[J];华北航天工业学院学报;2000年01期

8 王成耀;关系数据库通用表I/O API及应用模板的实现[J];计算机工程与应用;2001年06期

9 郭天杰,齐玉东;Windows 9x,NT和2000下的API拦截技术[J];计算机应用研究;2001年09期

10 朱霞,赵永强;应用API函数提高PowerBuilder程序的友好性[J];计算机系统应用;2001年05期

相关会议论文 前10条

1 陈兵;高磊;;基于MAYA API的毛发系统实现[A];2011中国电影电视技术学会影视技术文集[C];2011年

2 陈云超;马兆丰;;基于API函数拦截技术的跨进程攻击防护研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

3 方翔;吉国力;;Windows环境下数字图象的显示[A];2001中国控制与决策学术年会论文集[C];2001年

4 李必丹;任继东;;在VB中使用DLL和Windows API[A];2000年晋冀鲁豫鄂蒙六省区机械工程学会学术研讨会论文集（河南分册）[C];2000年

5 时达明;林鸿飞;;基于内容相关度和语义分析的Blog热点话题发现[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

6 韩先培;刘康;赵军;;基于布局特征与语言特征的网页主要内容块发现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

7 滕莉;;API系统及其在边防检查中的应用[A];21世纪出入境（移民）管理研讨会论文集[C];2008年

8 孙裔申;曹鸣;顾希;;MIS系统中基于电子文件的文档管理设计[A];全国自动化新技术学术交流会会议论文集（一）[C];2005年

9 杨毅;;基于HPD API的二次开发方法研究[A];中国航海学会航标专业委员会测绘学组学术研讨会学术交流论文集[C];2008年

10 李莉;彭成宝;张霞;;OpenBASE JDBC Driver的设计与实现[A];第十五届全国数据库学术会议论文集[C];1998年

相关重要报纸文章 前10条

1 萨维奥·罗德里格斯;开源无法阻止“云锁定”[N];中国计算机报;2010年

2 本报记者 于翔;W3C公布本地数据库存储标准草案[N];网络世界;2010年

3 周雪;Web安全：铸造企业防护屏障[N];电脑商报;2008年

4 乐天 编译;性能与稳定:“雪豹”的卖点[N];计算机世界;2009年

5 ;乌“云”中的SOA治理[N];网络世界;2009年

6 编译 刘琦;云应用促开发思维转变[N];中国计算机报;2009年

7 本报记者 朱杰;打破专有环境 比拼二次开发接口[N];中国计算机报;2009年

8 于翔;HTML 5缔造Web应用新世界？[N];网络世界;2009年

9 微软全球资深副总裁 张亚勤;未来计算在“云+端”[N];中国电子报;2009年

10 本报记者 边歆;安全目标:防患于未然[N];网络世界;2009年

相关博士学位论文 前3条

1 刘铭;计算机病毒传播模型及防控理论研究[D];华中科技大学;2009年

2 曾颖;基于抽象解释的软件保护相关问题研究[D];解放军信息工程大学;2011年

3 史建琦;面向目标代码的实时操作系统形式化验证方法研究[D];华东师范大学;2012年

相关硕士学位论文 前10条

1 朱少龙;基于微博的社会化媒体分析系统的设计与实现[D];哈尔滨工业大学;2011年

2 李晓明;基于HTML5跨移动终端平台的微博系统研究与实现[D];电子科技大学;2012年

3 韩旭芳;基于开放API的电子商务个性化服务推荐研究[D];石家庄铁道大学;2011年

4 高青娟;一种关键字驱动的Java API自动测试框架[D];太原科技大学;2011年

5 华东;基于UEFI技术的BIOS系统分析及其API性能测试研究[D];西安电子科技大学;2012年

6 张江;某种软件API自动化测试工具的设计与实现[D];华中科技大学;2009年

7 张江;某种软件API自动化测试工具的设计与实现[D];华中科技大学;2009年

8 胡维哲;基于Android和Open API的个人移动地图的设计与实现[D];东北大学;2010年

9 周爱华;基于大型机平台IMS数据库管理系统设计与实现[D];中国地质大学（北京）;2006年

10 黄武;高级电信计算架构平台硬件管理API设计与实现[D];上海交通大学;2007年

，

本文编号：2122366