基于全球整合新闻数据库的开源情报关联与可视化分析

发布时间：2018-04-15 15:08

  本文选题：全球整合新闻数据库 + 可视化分析　； 参考：《情报学报》2017年02期

【摘要】：GDELT是一个实时、开源、全球性的社会事件新闻数据库,它收录全世界从1979年至今的网络、纸质新闻报道中抽取的事件。本文设计并实现了一个GDELT数据库采集器,实时采集GDELT的元数据,并将其存储在HDFS分布式文件系统中;提出了一种基于哈希的方法在Spark中对GDELT的三个主要数据表进行快速的连接操作,得到GDELT联合数据集,以便充分挖掘每个事件的详细信息;最后,以韩国地区的GDELT联合数据集为例进行了时空可视化分析,如事件热度的区域时间分布、关注媒体分布、抽取结果的置信度分布等。为情报科技工作者及相关人员提供了一个新的角度和鳃决方案。
[Abstract]:GDELT is a real-time, open source, global social news database, it included the world from 1979 to the present network, extraction paper in news events. This paper designs and implements a GDELT data collector, real-time acquisition of GDELT metadata, which is stored in the HDFS distributed file system is put forward; for the three main data on the GDELT table in the Spark connection operation fast hash based method, GDELT combined data sets, in order to fully tap the details of each event; finally, to South Korea's GDELT data sets for the visualization analysis for example, such as the regional distribution of the incident heat time, attention media distribution, extraction results of the confidence distribution. To provide a new perspective for information technology solutions and gill workers and related personnel.

【作者单位】： 国防科学技术大学信息系统与管理学院;
【分类号】：G219.1;TP311.13

【相似文献】

相关期刊论文 前10条

1 赵丽华;聂建国;;可视化技术在图书馆中的应用[J];图书馆学刊;2011年03期

2 赵倩;任磊;滕东兴;;基于笔式界面的交互式可视化分析系统[J];计算机工程与应用;2009年06期

3 刘真真;;探讨园艺植物可视化技术的应用[J];现代园艺;2013年16期

4 毕晓君;李博;;基于单目标拟合度的高维多目标可视化[J];吉林大学学报(工学版);2013年06期

5 毕晓君;李博;苍岩;;基于交互式决策的旋转基多目标可视化技术[J];计算机辅助设计与图形学学报;2014年05期

6 吴多胜,叶雪梅,王帆;计算机辅助可视化故障树分析系统[J];微计算机信息;2005年08期

7 赵蓉英;王敏;;国际视野下中医研究的可视化分析[J];医学信息学杂志;2011年07期

8 朱明;;可视化及其在情报分析中的应用[J];佳木斯教育学院学报;2012年06期

9 吴萍,吴先良;高频区目标小角度双站散射特性的可视化电磁分析[J];合肥工业大学学报(自然科学版);2003年04期

10 魏瑞斌;;国内知识图谱研究的可视化分析[J];图书情报工作;2011年08期

相关会议论文 前4条

1 郭建勇;刘俊;张鉴;迟学斌;;5·12汶川地震的可视化与分析[A];图像图形技术研究与应用(2010)[C];2010年

2 柳辉;;基于AutoCAD的维修性人机可视化分析[A];面向制造业的自动化与信息化技术创新设计的基础技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年

3 杨璐;伍蓓;杜杰丽;;IT外包决策研究回顾和模型评介——基于CiteSpaceⅡ的可视化分析[A];第九届中国科技政策与管理学术年会论文集[C];2013年

4 李红纲;鲍玉斌;焦洪国;于戈;郑怀远;;维分析树导航下的可视化OLAP分析[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

相关硕士学位论文 前10条

1 夏晴;科研工作成功原因挖掘及可视化[D];上海大学;2015年

2 杨阳;微博内容的采集、分析及其可视化研究[D];大连理工大学;2015年

3 赵珏;区域经济普查数据可视化分析系统的设计与实现[D];电子科技大学;2015年

4 孙伟伟;图结构数据的可视化分析系统的设计与实现[D];东南大学;2016年

5 吕朝阳;基于个人档案的信息提取和可视化分析[D];山东大学;2017年

6 马井刚;面向复杂网络的可视化分析工具的设计与实现[D];北京邮电大学;2010年

7 张勉;在线社会网络可视化分析应用的设计与实现[D];华东师范大学;2012年

8 王琼;实时分布仿真平台下的可视化技术研究[D];西北工业大学;2004年

9 丁晓东;用于网络监管的社交网络可视化分析工具的设计与实现[D];上海交通大学;2007年

10 于石林;可视化流程建模与监控方案的设计与实现[D];北京交通大学;2011年

，

本文编号：1754629