浅谈基于C#的网络类垂直搜索引擎数据采集技术
本文关键词:浅谈基于C#的网络类垂直搜索引擎数据采集技术
【摘要】:该文设计和实现的基于C#的网络类垂直搜索引擎数据采集,采用高效的URL去重,避免了数据的重复。本文剖析了网络垂直搜索引擎中数据采集的基本方法和运行机制,并通过程序设计现实了垂直搜索引擎数据的采集。
【作者单位】: 武汉科技大学城市学院;
【分类号】:TP391.3
【正文快照】: 一、背景与研究意义(一)研究背景。互联网发展十余年,在这十余年的市场培育,发展的方向始终跟随者web用户的脚步,用户希望能有一种软件能在一定区域上对信息的智能采集和加工,从而来提高工作效率,因此采集技术在不断的更新,采集软件也随之备受欢迎。(二)开发背景。如今的互联
【相似文献】
中国期刊全文数据库 前10条
1 顾鹏尧;;让搜索引擎更好地服务于教育教学[J];科学24小时;2003年Z1期
2 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年32期
3 胡洁;丁宁;关静;曹福年;张磊;;基于“PUBMED+PDF”的医学垂直搜索引擎的实践[J];信息系统工程;2009年05期
4 牟思;;基于垂直搜索引擎的学校网站的研究与建设[J];中国教育技术装备;2011年21期
5 田野;垂直搜索火热为哪般[J];中国计算机用户;2005年37期
6 王雪冬;李伟英;李强;;商业主题搜索引擎的研究[J];商场现代化;2008年29期
7 张美芳;张迎春;;浅议垂直搜索引擎服务市场的商业模式[J];现代商业;2010年06期
8 陈利国;刘忠民;;搜索引擎的工作原理和发展趋势[J];电脑知识与技术(学术交流);2007年23期
9 张敏;;基于本体的垂直搜索引擎的研究[J];软件导刊;2010年02期
10 祝奕;;垂直搜索引擎的构建与应用[J];信息与电脑(理论版);2010年01期
中国重要会议论文全文数据库 前3条
1 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 王旭;杜军平;;质检总局互联网舆情监控系统中聚焦爬虫的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
中国重要报纸全文数据库 前2条
1 电子工业出版社 董娅 工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年
2 本报记者 陈嘉佳;网络营销创新航空公司寻找的“冬季牧草”[N];中国民航报;2009年
中国博士学位论文全文数据库 前4条
1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年
2 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年
3 汲业;面向图像的垂直搜索引擎关键技术研究[D];大连海事大学;2013年
4 李传席;基于本体的自适应Web信息抽取方法研究[D];中国科学技术大学;2012年
中国硕士学位论文全文数据库 前10条
1 李春燕;企业信息垂直搜索引擎的研究与实现[D];中国地质大学(北京);2010年
2 齐鹏;垂直搜索引擎分类索引系统的设计与实现[D];大连海事大学;2010年
3 张楠;面向汽车主题的垂直搜索引擎研究与实现[D];西南交通大学;2010年
4 陈向东;宠物用品垂直搜索引擎研究与设计[D];西北农林科技大学;2010年
5 周佳庆;实时垂直搜索引擎数据抓取调度研究[D];浙江大学;2010年
6 华大年;手机产品信息垂直搜索引擎系统设计与开发[D];武汉理工大学;2011年
7 薛萍;基于教育领域的垂直搜索引擎的研究与实现[D];天津师范大学;2011年
8 冯效栋;垂直搜索引擎技术在网络舆情巡控中的研究与应用[D];中国海洋大学;2010年
9 张赢;个性化多媒体资源垂直搜索引擎技术研究[D];华东交通大学;2009年
10 李海升;垂直搜索引擎的研究与实现[D];西安电子科技大学;2009年
,本文编号:1306414
本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/1306414.html