基于神经网络的增量式crawler重访频率研究

发布时间：2019-09-06 10:39

【摘要】：crawler是搜索引擎必备的核心组件 ,以何种频率对变化的Web页面进行重访是增量式crawler要解决的主要问题 .结合人工神经网络建立页面变化模型 ,由模型确定增量式crawler重访时间 ,同时分析模型在实践中的应用 ,提出一种应用方案 ,具有较好的自适应性 .
【图文】：

采用多层神经网络反向传播学习算法来建立模型.模型结构见图1(采用一个隐含层的BP网络),图中,Xp=(xp1, xp2,…, xpn)表示神经网络的第p个样本的输入向量,p=1,2

间隐含层节点,l为隐含层节点数.图1　模型结构图2中xk表示节点k的输入,wkj表示第k个输入节点与第j个隐含层节点之间的联接强度;θj表示节点j的阈值,tjk表示第j个隐含层节点与第k个输出层节点之间的联接强度;θk表示节点k的阈值,yk表示节点k的输出.图2　各层节点的权值和阈值隐含层节点输出模型为lj= f∑wijxi-θj;输出节点输出模型为yk= f∑tjklj-θk,式中f为非线形作用函数.输入层节点与隐含层节点的联接强度取值wij、隐含层节点与输出层节点之间的联接强度tjk以及阈值θ统称为网络参数.2.2　模型原理找出可能影响网页变化的参数,用这些参数组成样本作为输入信号X,用实际两次变化时间间隔作为期望输出T.网络实际输出Y与期望输出T之间的偏差作为误差E,预先设定的最小误差为minE.BP学习(训练)算法如下.a.用(-1
【作者单位】： 华中科技大学计算机科学与技术学院 华中科技大学计算机科学与技术学院
【基金】：国家高技术研究发展计划资助项目 (2 0 0 2AA4Z3110 )
【分类号】：TP393.09

【共引文献】

相关期刊论文 前10条

1 韩松;王威;杨建军;何洲汀;;混凝土裂缝宽度预测模型研究[J];四川建筑科学研究;2011年03期

2 韩净,侯宜祥;基于改进遗传算法的电网无功优化[J];安徽电气工程职业技术学院学报;2004年01期

3 贾德香;韩净;;基于改进BP网络的电力系统超短期负荷预测[J];安徽电气工程职业技术学院学报;2008年03期

4 黄己立,雷声;渗氮反应过程控制数学模型的研究[J];安徽建筑工业学院学报(自然科学版);2005年03期

5 霍惠玉;张鹰;金鑫;石宇;;BP神经网络在需水预测中的应用[J];安徽农业科学;2006年21期

6 马锐,刘玉树,杜彦辉;基于ART2神经网络的入侵检测方法[J];北京理工大学学报;2004年08期

7 乔立山,王玉兰,曾锦光;实验数据处理中曲线拟合方法探讨[J];成都理工大学学报(自然科学版);2004年01期

8 李武林;郝玉洁;;BP网络隐节点数与计算复杂度的关系[J];成都信息工程学院学报;2006年01期

9 汪文雄;李启明;;基于利益相关者多方满意的城市交通PPP项目特许价格调整模型研究[J];重庆大学学报(社会科学版);2010年03期

10 陈敏,刘君;BP网络的改进及其应用[J];湖南文理学院学报(自然科学版);2005年02期

相关会议论文 前10条

1 杜邵龙;周春山;;基于神经网络的膜法薏苡仁油脱胶过程动态模拟和预测[A];膜分离技术在石油和化工行业中应用研讨会论文集[C];2006年

2 姚焕炯;徐朝树;李波;;基于神经网络的激光扫描数据拟合[A];中国测绘学会九届四次理事会暨2008年学术年会论文集[C];2008年

3 姚焕炯;徐朝树;李波;;基于神经网络的激光扫描数据拟合[A];第十届中国科协年会论文集（一）[C];2008年

4 许刘兵;;基于人工神经网络的P2P流量识别模型的研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（上册）[C];2008年

5 曹顺安;;基于BP神经网络的火电厂水质调节系统的Smith-PID鲁棒自适应控制[A];湖北省电机工程学会电厂化学专委会2007年学术年会论文集[C];2007年

6 刘向培;王毅;石汉青;;基于FY-2C数据的云检测方法研究[A];2009第五届苏皖两省大气探测、环境遥感与电子技术学术研讨会专辑[C];2009年

7 石宝强;张捍民;杨凤林;孟凡刚;张兴文;;人工神经网络在膜生物反应器膜污染预测中的应用前景[A];中国精细化工协会第二届水处理化学品行业年会论文集[C];2006年

8 刘本奇;杜选民;;多波束融合BP神经网络拖船噪声抵消[A];中国声学学会2007年青年学术会议论文集（上）[C];2007年

9 王胜武;王增彬;郑新奇;;基于神经网络的宗地地价评估探析[A];2005年山东土地学会学术年会论文集[C];2005年

10 江俊敏;杨波;;基于神经网络的谐波电流检测方法的研究[A];第十一届全国自动化应用技术学术交流会论文集[C];2006年

相关博士学位论文 前10条

1 赵永昌;一类时滞静态递归神经网络的动力学行为研究[D];中国海洋大学;2010年

2 柏坚;非线性数学地质模型研究及在滇东南金矿成矿预测中的应用[D];中国地质大学（北京）;2010年

3 朱松;随机回归神经网络的动力学行为研究[D];华中科技大学;2010年

4 孙大利;石油价格波动规律研究[D];浙江大学;2010年

5 罗兆楠;直流输电线路邻近建筑物时合成电场计算方法及其应用研究[D];华北电力大学（北京）;2011年

6 肖献强;基于信息融合的驾驶行为识别关键技术研究[D];合肥工业大学;2011年

7 刘波平;近红外光谱技术在多组分检测及模式识别中的应用研究[D];南京理工大学;2011年

8 宋春生;柔性浮筏系统的磁悬浮主动隔振理论与控制技术研究[D];武汉理工大学;2011年

9 王扬帆;基于偏微分方程的时滞递归神经网络的动力分析与多尺度图像处理研究[D];中国海洋大学;2011年

10 龙晓君;地质生态环境多尺度非线性智能评估研究[D];成都理工大学;2011年

相关硕士学位论文 前10条

1 宋家勇;安林煤矿炮放面矿压显现规律及顶煤冒放性预测研究[D];河南理工大学;2010年

2 朱正强;车标识别的关键技术研究[D];辽宁师范大学;2010年

3 饶裕平;基于视频的森林火灾识别方法研究[D];浙江农林大学;2010年

4 易鑫;功能陶瓷精密CMP抛光工艺参数决策优化的研究[D];湘潭大学;2010年

5 马媛媛;基于纹理分类的图像检索技术研究[D];河南理工大学;2010年

6 韩世涛;宁夏太阳能资源评估分析[D];兰州大学;2010年

7 江治;基于复杂背景下的车牌识别系统[D];华东师范大学;2010年

8 李宗坤;QCM气体传感器的研究及其在安全检测中的应用[D];天津理工大学;2010年

9 陈小强;神经网络方法在灌区需水量预测中的应用研究[D];新疆农业大学;2010年

10 陈星毅;基于人体心血管生理的颈部服装压力舒适性研究[D];江南大学;2010年

【相似文献】

相关期刊论文 前10条

1 李莉;原福永;付韬;李红岩;鲍伟;;智能搜索引擎的分析与研究[J];微处理机;2006年04期

2 马晓普;梁晶晶;赖国勇;;基于用户兴趣的个性化搜索引擎系统[J];攀枝花学院学报;2009年03期

3 陈华;梁循;杨健;;面向专题的智能化中文搜索引擎[J];广西师范大学学报(自然科学版);2007年02期

4 张敏;;智能搜索引擎的分析与研究[J];运城学院学报;2007年02期

5 田超,吴敏,曹卫华;一种基于增量式神经网络的转炉静态控制模型[J];自动化技术与应用;2005年05期

6 利业鞑;增量式并行webcrawler模型研究[J];沿海企业与科技;2005年10期

7 原福永,李莉,李红岩;智能信息检索的设计与研究[J];燕山大学学报;2005年04期

8 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

9 王军琴;;基于神经网络的增量PID算法及仿真研究[J];现代电子技术;2010年18期

10 晏剑辉;温怀玉;;同步发电机的神经元PID调速控制[J];自动化与仪器仪表;2009年01期

相关会议论文 前10条

1 侯艳芳;冯红梅;;基于神经网络的调制识别算法的研究[A];武汉(南方九省)电工理论学会第22届学术年会、河南省电工技术学会年会论文集[C];2010年

2 沈建荣;杨林泉;陈琳;;神经网络的稳定性判据与区域经济结构调整[A];系统工程与可持续发展战略——中国系统工程学会第十届年会论文集[C];1998年

3 石山铭;李富兰;丁俊丽;;神经网络的知识获取[A];全国青年管理科学与系统科学论文集（第1卷）[C];1991年

4 吴清烈;徐南荣;;基于神经网络的一种多目标决策方法[A];复杂巨系统理论·方法·应用——中国系统工程学会第八届学术年会论文集[C];1994年

5 李晓钟;汪培庄;罗承忠;;神经网络与模糊逻辑[A];中国系统工程学会模糊数学与模糊系统委员会第五届年会论文选集[C];1990年

6 房育栋;余英林;;高阶自组织映射及其学习算法[A];1995年中国控制会议论文集（上）[C];1995年

7 王晓晔;杜朝辉;吕德忠;刘建峰;;神经网络模糊控制在温度控制系统中的应用[A];1997中国控制与决策学术年会论文集[C];1997年

8 金龙;吴建生;;基于遗传算法的神经网络短期气候预测模型(摘要)[A];新世纪气象科技创新与大气科学发展——中国气象学会2003年年会“气候系统与气候变化”分会论文集[C];2003年

9 申伟;张元培;;基于MATLAB的自适应神经网络模糊系统(ANFIS)的应用[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年

10 田艳兵;;BP算法和PSO算法在神经网络中的研究[A];第二十九届中国控制会议论文集[C];2010年

相关重要报纸文章 前10条

1 本报记者：段世文　;林奇：演绎商用搜索引擎传奇[N];经济参考报;2005年

2 李一鑫;搜索排名的红与黑[N];财经时报;2007年

3 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

4 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

5 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，，还是门户[N];中国计算机报;2005年

6 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

7 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

8 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

9 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

10 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

相关博士学位论文 前10条

1 刘志祥;深部开采高阶段尾砂充填体力学与非线性优化设计[D];中南大学;2005年

2 戴雪龙;PET探测器神经网络定位方法研究[D];中国科学技术大学;2006年

3 马戎;智能控制技术在炼钢电弧炉中的应用研究[D];西北工业大学;2006年

4 文敦伟;面向多智能体和神经网络的智能控制研究[D];中南大学;2001年

5 吴大宏;基于遗传算法与神经网络的桥梁结构健康监测系统研究[D];西南交通大学;2003年

6 杜文斌;基于神经网络的冠心病证候诊断标准与药效评价模型研究[D];辽宁中医学院;2004年

7 熊雪梅;参数化模糊遗传神经网络及在植物病害预测的应用[D];南京农业大学;2004年

8 李智;电站锅炉燃烧系统优化运行与应用研究[D];东北大学;2005年

9 王承;基于神经网络的模拟电路故障诊断方法研究[D];电子科技大学;2005年

10 谭阳红;基于小波和神经网络的大规模模拟电路故障诊断研究[D];湖南大学;2005年

相关硕士学位论文 前10条

1 杨立儒;基于神经网络的电路故障诊断的研究与实现[D];解放军信息工程大学;2010年

2 刘兰兰;基于神经网络和遗传算法的H型钢粗轧工艺参数优化研究[D];山东大学;2011年

3 田鹏明;基于神经网络的振动主动控制研究[D];太原理工大学;2012年

4 姜宇;发动机裂解设备故障诊断技术的研究[D];吉林大学;2012年

5 邢远凯;基于决策树和遗传算法的神经网络研究及应用[D];浙江大学;2010年

6 高宝建;基于神经网络的月降水预报模型在洪泽湖的应用研究[D];南京信息工程大学;2012年

7 陈少华;基于Hopfield神经网络控制系统的研究[D];山东科技大学;2010年

8 来建波;基于神经网络的路段行程时间预测研究[D];云南大学;2011年

9 闫超;基于BP神经网络的煤矿深埋硐室软岩流变参数反演分析[D];安徽理工大学;2011年

10 段成均;时滞神经网络稳定性分析[D];重庆交通大学;2011年

本文编号：2532575