行业动态信息采集系统关键问题解决方案

发布时间：2017-10-04 15:01

  本文关键词：行业动态信息采集系统关键问题解决方案

  更多相关文章： Heritrix和Lucene 信息爬取 网页清洗 全文检索

【摘要】：为了解决行业动态信息采集系统中网页定向爬取、网页清洗、信息检索等关键问题,文章提出一套基于Heritrix、Jsoup和Lucene的解决方案,并以测绘地理动态信息系统为例进行验证,结果证明该方法能够较好完成测绘地理信息的定向爬取,实现对不同风格网站网页的清洗,并建立索引提供信息检索机制,给测绘行业人士提供准确可靠的信息服务,为相关研究提供参考。
【作者单位】： 长江大学地球科学学院;
【关键词】： Heritrix和Lucene 信息爬取 网页清洗 全文检索
【基金】：国土资源部项目(2014Z1317)
【分类号】：TP391.3;P208
【正文快照】： 0引言专业动态信息的浏览是掌握行业最新动态的必要手段。但行业网站的纷繁复杂和网上信息的良莠不齐使得人们浏览信息的效率大打折扣,建立一个行业动态信息采集系统,抓取准确可靠的行业信息给业内人士提供信息服务是诸多行业的所面临的共同需求。这个系统的实现必须解决以下3

【相似文献】

中国期刊全文数据库 前10条

1 和琨;;电力用电信息采集系统的应用分析[J];民营科技;2011年06期

2 郑凯津;;智能化的信息采集系统的研究实践分析[J];黑龙江科技信息;2013年08期

3 陈健;;智能化的信息采集系统的研究实践分析[J];黑龙江科技信息;2013年12期

4 梁朝晖;;用电信息采集系统简述[J];山西科技;2013年05期

5 罗荣艳;;企业用户电能信息采集系统设计及其实现分析[J];科技风;2012年23期

6 禹志辉;;智能电网下的用电信息采集系统[J];黑龙江科技信息;2013年21期

7 史鹏斌;;用电信息采集系统的演变与建设现状[J];山西科技;2013年05期

8 买买提,米尔夏提,邓绪斌;对机读卡民文信息采集系统的探讨[J];新疆大学学报(自然科学版);1998年03期

9 韩冬;;电力用户用电信息采集系统通信技术分析[J];科技致富向导;2013年18期

10 陶矿之;;论电力用户用电信息采集系统费控功能的实现[J];广东科技;2013年02期

中国重要会议论文全文数据库 前10条

1 ;用电信息采集系统的规划与建设[A];2011年安徽省智能电网技术论坛论文集[C];2011年

2 刘利成;梁后乐;任民;;提高电力用户用电信息采集系统采集成功率的措施[A];第二十届华东六省一市电机工程（电力）学会输配电技术讨论会论文集[C];2012年

3 夏泽举;;用电信息采集系统实用化关键问题及探讨[A];2011年安徽省智能电网技术论坛论文集[C];2011年

4 程德山;刘梁宝;李浩;;六安市区用电信息采集系统的通信组网技术研究[A];2011年安徽省智能电网技术论坛论文集[C];2011年

5 王洪元;;用电信息采集系统建设模式探讨[A];山东电机工程学会2012年度学术年会论文集[C];2012年

6 刘继彦;宋燕霞;赵建文;;关于用电信息采集系统数据移植工作的讨论[A];山东电机工程学会2012年度学术年会论文集[C];2012年

7 刘利成;;电力用户用电信息采集系统网络规划研究[A];2012电力行业信息化年会论文集[C];2012年

8 赵琦;温宏愿;周木春;陈延如;;一种用于光辐射多频道信息采集系统的设计[A];第三届全国虚拟仪器大会论文集[C];2008年

9 张德玉;高福亭;;组织实施图像信息采集系统建设工作中存在的问题和对策研究[A];北京市高教学会保卫学研究会第十届学术年会论文选集[C];2007年

10 黄兴;顾军;李靖;王献伟;吴致真;杨润全;戴磊;;基于Web的安全生产信息采集系统的设计[A];第十二届全国煤矿自动化学术年会论文专辑[C];2002年

中国重要报纸全文数据库 前10条

1 马旭升;青海公司启动用电信息采集系统建设[N];国家电网报;2010年

2 通讯员 丁罕　王涛;无锡地区用电信息采集系统建设起步[N];中国电力报;2010年

3 林平;河南公司高质量建设用电信息采集系统[N];国家电网报;2010年

4 潘新兴　刘群 朱萧轶;浙江武原镇投运用电信息采集系统[N];国家电网报;2010年

5 李雪;四平公司用电信息采集系统“全覆盖”[N];东北电力报;2011年

6 记者 管亚东　通讯员 尹萧 高坦;首个自助信息采集系统 昨在罗湖启用[N];深圳商报;2011年

7 记者 沈雪梅邋实习生 陈艳;外来人口信息采集系统全面启动[N];南通日报;2008年

8 记者 朱海斌;新人口与计生信息采集系统启动[N];吐鲁番报(汉);2009年

9 马旭升　薛晓慧;青海公司完成全年用电信息采集系统建设[N];国家电网报;2010年

10 董萍;吐鲁番电业局加快信息采集系统建设[N];国家电网报;2012年

中国博士学位论文全文数据库 前2条

1 叶涛;精准农业的农田信息采集系统研究与开发[D];中国农业科学院;2006年

2 方慧;基于掌上电脑的农田信息采集系统的研究[D];浙江大学;2003年

中国硕士学位论文全文数据库 前10条

1 郭玉波;基于WSN的农田环境信息采集系统的研究与设计[D];内蒙古大学;2015年

2 岳虎;用电信息采集系统的建设应用与研究[D];燕山大学;2015年

3 马铭;基于主题的互联网税源信息采集系统研究[D];财政部财政科学研究所;2015年

4 郭振;基于车联网的车辆信息采集系统的设计与研究[D];长安大学;2015年

5 郭琳琳;河南用电信息懫集系统的升级改造设计与实现[D];郑州大学;2015年

6 张海峰;基于物联网的健康与运动信息采集系统的实现[D];华中师范大学;2015年

7 徐清风;基于Android平台的现场信息采集系统设计与实现[D];上海交通大学;2015年

8 杨宁;浙江电力用电信息采集系统的技术研究与深化应用[D];华北电力大学;2015年

9 徐连杰;电力用户用电信息采集系统建设研究[D];华北电力大学;2015年

10 孔姗;面向农地确权的内外业一体化信息采集系统设计与实现[D];中国矿业大学;2015年

，

本文编号：971275