计算机应用技术专业优秀论文实时垂直搜索引擎数据抓取调度研究.doc 全文免

  本文关键词：实时垂直搜索引擎数据抓取调度研究，由笔耕文化传播整理发布。

文档介绍：
【精品】毕业论文优秀毕业论文本科论文专业学术论文参考文献资料计算机应用技术专业优秀论文实时垂直搜索引擎数据抓取调度研究关键词:实时垂直搜索引擎数据抓取任务调度OLCO策略SACD模型摘要:实时垂直搜索引擎的发展解决了互联网用户对大规模高时间敏感度数据的搜索需求,而抓取任务调度相关技术是实时垂直搜索引擎的关键技术,决定了实时垂直搜索引擎的性能和用户体验。但是,目前学术界对实时垂直搜索引擎数据抓取任务调度的相关研究尚未开展,导致现有的实时垂直搜索引擎数据过期、抓取资源浪费的现象非常严重。本文对实时垂直搜索引擎的抓取任务调度相关技术进行了详细的总结和研究。首先对数据抓取的基本问题做了系统的归纳和分析,总结了实时垂直搜索引擎的抓取策略和数据变化规律的预测方法。然后提出了一种新的实时垂直搜索引擎抓取分发优化策略:OLCO策略,基于对象及其属性间的关联设计热门对象预测模型,对热门对象的变化趋势进行预测;基于用户查询及对象变化符合泊松过程的特点,推导最大化数据新鲜度的计算方法,从理论上给出资源分配和动态平衡的最优策略。最后基于OLCO策略提出了一种自适应的实时垂直搜索引擎的任务抓取分发模型:SACD模型,该模型巧妙地利用了自适应的思想... 内容来自转载请标明出处.

  本文关键词：实时垂直搜索引擎数据抓取调度研究，由笔耕文化传播整理发布。