基于度排序的P2P IPTV分布式爬虫系统设计与实现

发布时间：2017-08-28 21:16

  本文关键词：基于度排序的P2P IPTV分布式爬虫系统设计与实现

  更多相关文章： PP技术 度排序 分布式架构 爬虫系统 PPTV网络电视

【摘要】：为了开发一款面向P2P网络电视主动测量研究的高性能爬虫系统,提出了一种基于节点度排序的节点信息爬行算法。该算法首先使用类似广度优先遍历的策略对网络电视覆盖网进行节点信息的初始爬行,然后对爬行结果获得的节点列表进行基于节点度大小的排序,最后将排序后的结果作为输入提供给分布式爬虫以实施节点信息的实时采集。实验结果表明,基于度排序的分布式爬虫系统相比现有的其他爬虫具有更快的爬行速度,该爬虫可以在30 s左右完成对一个拥有7 200左右用户规模的流行节目的爬行,为采集准确的PPTV节点信息快照并实施主动测量研究提供了解决方案。
【作者单位】： 四川大学计算机学院网络与可信计算研究所;
【关键词】： PP技术 度排序 分布式架构 爬虫系统 PPTV网络电视
【基金】：国家科技支撑计划资助项目(2012BAH18B05) 国家自然科学基金项目(61272447)
【分类号】：TP393.02
【正文快照】： P2P(peer-to-peer)技术因其具有良好的自组织性、可扩展性、健壮性等诸多优势被广泛应用于主流的互联网应用,其中以PPTV[1](原PPLive)、PP-Stream[2]、UUSee[3]等为代表的P2P网络电视系统(P2P IPTV)取得了巨大的商业成功,凝聚了极其庞大的用户群体,深刻影响着互联网的用户行为

【参考文献】

中国期刊全文数据库 前1条

1 胡鑫;陈兴蜀;王海舟;刘磊;;基于用户行为分析的PPTV点播系统测量研究[J];微电子学与计算机;2011年08期

【共引文献】

中国期刊全文数据库 前9条

1 肖玲玲;高林;张扬;;基于DPI技术的VoIP流量识别[J];电脑知识与技术;2013年27期

2 彭骥;陈运;杨义先;;迅雷协议分析及迅雷流量识别方案的研究[J];成都信息工程学院学报;2013年06期

3 管潇;;黄石广电网络PPTV CDN缓存系统[J];电视技术;2014年06期

4 孙雅娟;林红;;云计算环境下基于Chord环的资源发现模型设计[J];计算机测量与控制;2013年09期

5 杜超;徐蕾;;结构化P2P网络访问热点预测与负载均衡机制研究[J];沈阳航空航天大学学报;2013年06期

6 陈兴蜀;李卫;王文贤;;QVOD点播系统的测量研究[J];四川大学学报(工程科学版);2013年05期

7 宋军;邓浩江;尤佳莉;;支持预部署的机顶盒P2P点播系统[J];计算机工程与设计;2014年01期

8 刘建生;骆丹;乐光学;李明明;陆春龙;;P2P网络中搭便车行为研究[J];数学的实践与认识;2014年07期

9 冯晓龙;张毅;郭宇春;谭晓颖;陈一帅;;基于P2P的网络游戏更新推送系统设计[J];计算机技术与发展;2013年10期

中国博士学位论文全文数据库 前7条

1 郭红方;视频点播内容分发关键技术研究[D];郑州大学;2012年

2 左方;P2P网络中基于博弈算法的优化技术研究[D];华东师范大学;2013年

3 尚庆红;半分布式系统资源发现与资源分配研究[D];电子科技大学;2013年

4 马文明;基于局部网络信息的贪婪式P2P资源定位技术研究[D];北京邮电大学;2013年

5 苏马婧;P2P文件共享系统测量及其安全性研究[D];哈尔滨工业大学;2013年

6 Ngui，，Felix Musau（穆萨）;P2P电子商务中针对风险的信任管理[D];中南大学;2012年

7 郑重;面向动态网络环境的高鲁棒性数据分发技术研究[D];国防科学技术大学;2011年

中国硕士学位论文全文数据库 前10条

1 吕彦昭;基于P2P的在线VOD系统的设计与实现[D];大连理工大学;2013年

2 杜书敏;基于位置指纹的室内定位技术研究与实现[D];云南大学;2013年

3 陈豫章;基于RSSI的室内三维定位技术研究与实现[D];云南大学;2013年

4 丁海盛;流媒体播放系统中P2P网络拓扑结构的研究与实现[D];华南理工大学;2013年

5 晏婧;非对称信息共享环境下P2P网络服务可生存性机制和方法研究[D];电子科技大学;2013年

6 杨楷;P2P流媒体识别技术研究[D];解放军信息工程大学;2013年

7 赵魏雨;基于改进的k均值聚类算法的P2P流量识别的研究[D];东北林业大学;2013年

8 马丽娜;基于机器学习的GTalk流量识别系统的设计与实现[D];哈尔滨工业大学;2013年

9 张雪臻;WLAN中的P2P流量优化技术研究[D];重庆大学;2013年

10 张波;基于流特征的加密流量识别技术研究[D];哈尔滨工业大学;2012年

【二级参考文献】

中国期刊全文数据库 前3条

1 王海舟;陈兴蜀;王文贤;;PPLive网络电视系统的测量研究[J];计算机应用;2009年07期

2 姜志宏;王晖;樊鹏翼;袁雪美;;一个P2P IPTV多协议爬行器——TVCrawler[J];计算机应用;2010年03期

3 冯健;;P2P流媒体关键技术研究[J];微电子学与计算机;2009年08期

中国硕士学位论文全文数据库 前2条

1 李代玲;基于网络测量的PPStream网络电视系统研究[D];北京交通大学;2008年

2 樊鹏翼;P2P流媒体监管关键技术研究[D];国防科学技术大学;2008年

【相似文献】

中国期刊全文数据库 前10条

1 逸欣;;P2P网络电视软件也看电影[J];数码先锋;2006年01期

2 ;高清网络电视新选择[J];电脑知识与技术(经验技巧);2011年07期

3 毕鹏;;直播随时随地UUSee让您饱览视觉盛宴[J];网络与信息;2010年11期

4 小鱼;;PPS网络电视直播点播合二为一[J];网络与信息;2008年05期

5 ;四个方法让PPLive更加流畅播放[J];计算机与网络;2008年09期

6 宝宝;;巧用KMPlayer播放P2P网络电视[J];电脑迷;2006年24期

7 luuyoo;;玩转UUSee常规设置 打造个性观影平台[J];网络与信息;2009年05期

8 ;非典型网络电视,CNTV暴风台能耐几何?[J];电脑爱好者;2010年10期

9 屈景怡,史浩山;一种嵌入式Internet信息终端的设计与实现[J];计算机工程与设计;2004年11期

10 布克布克;;谁能和我抢“频道”——P2P 网络电视陪我过国庆[J];软件;2005年10期

中国重要报纸全文数据库 前10条

1 ;星势力[N];电脑报;2005年

2 傅晓航;网络电视充满魅力[N];大众科技报;2007年

3 中科院计算所 罗杰文;P2P:互联网时代的计算革命[N];计算机世界;2006年

4 那罡;聚生网管2008版[N];中国计算机报;2008年

5 我思故我在 YUME;聊聊BAR[N];电脑报;2004年

6 李理;校园网改造从细致到品质[N];中国计算机报;2005年

7 宋义江;广电视频点播系统设计[N];计算机世界;2004年

8 本报记者 张彤;细节铸造品质[N];网络世界;2005年

9 郭长佑;家庭局域网络技术标准的演进[N];电子资讯时报;2007年

10 北京 曹红蓓;IPTV中的分布式技术与CDN技术的分析与比较[N];电子报;2005年

中国博士学位论文全文数据库 前3条

1 徐陈锋;面向P2P的Markov模型[D];中国科学技术大学;2008年

2 李丹丹;认知网络中具有自主学习特征的智能QoS保障机制研究[D];北京交通大学;2013年

3 肖枫涛;基于网络行为的蠕虫检测关键技术研究[D];国防科学技术大学;2009年

中国硕士学位论文全文数据库 前10条

1 周悦喜;基于IPTV的嵌入式浏览器的研究[D];华中科技大学;2007年

2 许宏波;P2P技术与宽带互联网的融合创新[D];北京邮电大学;2009年

3 杨正发;基于P2P流媒体技术的IPTV系统研究[D];华中科技大学;2011年

4 谢晓雯;基于P2P技术的PCDN网络设计[D];上海交通大学;2011年

5 何速;社会电视用户行为分析[D];国防科学技术大学;2011年

6 刘颖君;PPLive测量数据的初步分析[D];北京交通大学;2008年

7 沈平;远程证明在P2P网络中的应用研究[D];大连理工大学;2010年

8 何宇;一种基于改进B-树的结构化P2P网络搜索模型的设计与仿真[D];中南大学;2011年

9 林军;P2P网络的信任管理研究[D];中南大学;2011年

10 张博;CNTV网络电视节目源发现系统设计与实现[D];北京工业大学;2012年

本文编号：749526