社交网络数据采集技术研究与应用

发布时间：2018-03-29 12:14

  本文选题：Python　切入点：微博API　出处：《计算机科学》2017年01期

【摘要】：随着社交网络的快速发展,对其研究也逐步深入。显然,社交网络基础数据的获取对研究具有非常重要的意义。针对目前已有的数据采集方案,根据新浪授权标准以及最新的微博加密方式,研究了两种采集方案:1)经OAuth2.0认证后,通过微博API接口获取数据;2)在RSA2加密方式下模拟登录微博,再通过网络爬虫抓取数据。同时,还研究了通过网页采集器针对微博编写适当的采集规则进而实现对数据的获取。3种数据采集方案都能有效地对数据进行采集且各具特点,针对数据的采集需求,提出融合不同的采集方案的策略。经实验研究,方案的融合策略可快速、高效地实现大数据量的采集。
[Abstract]:With the rapid development of social network, the research of social network has gradually deepened. Obviously, the acquisition of basic data of social network is very important for the research. According to Sina Authorization Standard and the latest Weibo encryption method, this paper studies two kinds of collection schemes: 1) after being certified by OAuth2.0, then acquires data through the API interface of Weibo) under the RSA2 encryption mode, simulates and logs on Weibo, then grabs the data through the web crawler. At the same time, It is also studied that all kinds of data acquisition schemes can collect data effectively and have their own characteristics, aiming at the demand of data collection. The strategy of fusion of different data acquisition schemes is put forward, and the experimental results show that the strategy can realize the acquisition of large amount of data quickly and efficiently.
【作者单位】： 江南大学数字媒体学院;
【基金】：国家自然科学基金项目(61103223)资助
【分类号】：TP393.09;TP274.2

【参考文献】

相关期刊论文 前6条

1 孙晓;叶嘉麒;唐陈意;任福继;;基于多策略的新浪微博大数据抓取及应用[J];合肥工业大学学报(自然科学版);2014年10期

2 丁兆云;贾焰;周斌;;微博数据挖掘研究综述[J];计算机研究与发展;2014年04期

3 孙青云;王俊峰;赵宗渠;高梦超;;一种基于模拟登录的微博数据采集方案[J];计算机技术与发展;2014年03期

4 黄延炜;刘嘉勇;;新浪微博数据获取技术研究[J];信息安全与通信保密;2013年06期

5 廉捷;周欣;曹伟;刘云;;新浪微博数据挖掘方案[J];清华大学学报(自然科学版);2011年10期

6 姚峰;;Java平台中Base64编码/解码算法的改进[J];计算机应用与软件;2008年12期

【共引文献】

相关期刊论文 前3条

1 闫林;阮宁;闫硕;高伟;;相关集的数据关联描述及实例讨论[J];计算机科学;2017年01期

2 闫硕;闫林;;数据关联的粒化树描述方法[J];模式识别与人工智能;2015年12期

3 闫林;刘涛;闫硕;李峰;阮宁;;基于结构粒化的数据合并方法[J];计算机应用;2015年02期

【二级参考文献】

相关期刊论文 前5条

1 闫林;宋金朋;;数据集的粒化树及其建模应用[J];计算机科学;2014年03期

2 胡清华;于达仁;谢宗霞;;基于邻域粒化和粗糙逼近的数值属性约简[J];软件学报;2008年03期

3 仇国芳,陈劲;概念知识系统与概念信息粒格[J];工程数学学报;2005年06期

4 张燕平,张铃,夏莹;商空间理论与粗糙集的比较[J];微机发展;2004年10期

5 张铃,张钹;模糊商空间理论(模糊粒度计算方法)[J];软件学报;2003年04期

【相似文献】

相关期刊论文 前10条

1 ;基于位置的手机社交网络“贝多”正式发布[J];中国新通信;2008年06期

2 曹增辉;;社交网络更偏向于用户工具[J];信息网络;2009年11期

3 ;美国:印刷企业青睐社交网络营销新方式[J];中国包装工业;2010年Z1期

4 李智惠;柳承烨;;韩国移动社交网络服务的类型分析与促进方案[J];现代传播(中国传媒大学学报);2010年08期

5 贾富;;改变一切的社交网络[J];互联网天地;2011年04期

6 谭拯;;社交网络:连接与发现[J];广东通信技术;2011年07期

7 陈一舟;;社交网络的发展趋势[J];传媒;2011年12期

8 殷乐;;全球社交网络新态势及文化影响[J];新闻与写作;2012年01期

9 许丽;;社交网络:孤独年代的集体狂欢[J];上海信息化;2012年09期

10 李玲丽;吴新年;;科研社交网络的发展现状及趋势分析[J];图书馆学研究;2013年01期

相关会议论文 前10条

1 赵云龙;李艳兵;;社交网络用户的人格预测与关系强度研究[A];第七届（2012）中国管理学年会商务智能分会场论文集（选编）[C];2012年

2 宫广宇;李开军;;对社交网络中信息传播的分析和思考——以人人网为例[A];首届华中地区新闻与传播学科研究生学术论坛获奖论文[C];2010年

3 杨子鹏;乔丽娟;王梦思;杨雪迎;孟子冰;张禹;;社交网络与大学生焦虑缓解[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年

4 毕雪梅;;体育虚拟社区中的体育社交网络解析[A];第九届全国体育科学大会论文摘要汇编(4)[C];2011年

5 杜p，

本文编号：1681095