农业统计数据关联挖掘与可视化研究
发布时间：2021-12-11 14:23
随着农业信息化的不断深入,农业数据与日俱增,众多农业相关网站积累了大量的农业数据,但是这些数据类型复杂、分散、获取难度大,无法发挥应有的作用。如何有效地获取、整合及挖掘多源农业统计数据成为目前急需研究解决的问题,特别是如何利用数据挖掘技术从海量的农业统计数据中挖掘出隐藏的农业知识,并结合可视化技术将数据和挖掘结果用简单易懂的图形符号展示出来,从而更好的为农业服务。本文针对农业统计数据分散广的特点和难以获取的问题,利用网络爬虫技术完成多源数据的采集,结合数据挖掘技术,实现影响因子筛选和结果预测挖掘模型的构建,并利用django Web框架设计并实现农业统计数据挖掘与可视化系统。本文主要研究内容如下:（1）通过对国内外农业数据挖掘的应用分析,确定研究内容和研究目标,并对农业统计数据的采集与处理进行了分析。利用网络爬虫技术,定向抓取网页的数据;抽取网页中的农业统计数据,进行清洗、补充、转换和集合,为数据挖掘提供有效的数据支持。（2）数据挖掘模型的设计。针对农业统计数据中存在的大量模糊不确定因素问题,设计了灰色关联和Lasso回归算法相结合的多因子筛选模型,解决最小二乘法方法带来的局部最优解问...
【文章来源】：河北农业大学河北省
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
图２－１?ｓｅｌｅｎｉｕｍ爬虫流程??Ｆｉｇｕｒｅ?２－１?Ｓｅｌｅｎｉｕｍ?ｃｒａｗｌｅｒ?ｐｒｏｃｅｓｓ??７??
?河北农业大学硕士学位（毕业）论文???ｗ规高级ＳＳＬ?ＳＳＨ?ＨＴＴＰ??〔：：?：?：?：：＝：＝?－—????雜？ｌ：?‘１１：?ｆ：??Ｉ?ｆｅｃａｌｈｏｓｔ???．?謹??？口ｉ?３３ｐ６?｜????；ｒｏｏｔ??丨，?｜?—??Ｈ保码??１：??１??ｒ￣￣ｉ?ｒ?＇?■??Ｊｔ＾ＥＴＳｊＫＳｃＡ，?｜?■?．．．?■?Ｉ?Ｉ?＂＊３＾Ｊ＊＊??图２－２数据库连接??Ｆｉｇｕｒｅ?２－２?Ｄａｔａｂａｓｅ?ｃｏｎｎｅｃｔｉｏｎ??１鮪：釦翮铺＆ｓａ字ｇ?ｂ齡雜ｐｍ?？上移＋?ｔ§??報到煺腸麵雜ＳＱＬ颳??名?翅链傾＾福ｎｕｌｌ挪?ｇ?餽??？?ｉｄ?ｉｎｔ?２５５?０?０?口声?１??ｘｕ?ｖａｒｃｈａｒ?２５５?０?□?□??ｎａｍｅ?ｖａｒｃｈａｒ?２５５?０?□?□??２０１?碎?ｆｌｏａｔ?２５５?２?□?□??２０１７年?ｆｌｏａｔ?２５５?２?口口??２０１?咩?ｆｌｏａｔ?２５５?２?□口??２０１?谇?ｆｌｏａｔ?２５５?２?□?□??２０１?禅?Ｂｏａｔ?２５５?２?□?□??２０１?坤?ｆｌｏａｔ?２５５?２?□口??２０１２年?ｆｌｏａｔ?２５５?２?□?□??图２－３创建表格??Ｆｉｇｕｒｅ?２－３?Ｃｒｅａｔｉｎｇ?ｄａｔａ?ｓｈｅｅｔ??２．?３．?３数据存储设计??网络爬虫技术获取了大量的数据，利用ｐｙｍｙｓｑｌ连接ＭｙＳＱＬ数据库，快速??实现数据的增加、删除、修改，数据存储流程如图２－４所示，具体步骤为：第??一步
?河北农业大学硕士学位（毕业）论文???ｗ规高级ＳＳＬ?ＳＳＨ?ＨＴＴＰ??〔：：?：?：?：：＝：＝?－—????雜？ｌ：?‘１１：?ｆ：??Ｉ?ｆｅｃａｌｈｏｓｔ???．?謹??？口ｉ?３３ｐ６?｜????；ｒｏｏｔ??丨，?｜?—??Ｈ保码??１：??１??ｒ￣￣ｉ?ｒ?＇?■??Ｊｔ＾ＥＴＳｊＫＳｃＡ，?｜?■?．．．?■?Ｉ?Ｉ?＂＊３＾Ｊ＊＊??图２－２数据库连接??Ｆｉｇｕｒｅ?２－２?Ｄａｔａｂａｓｅ?ｃｏｎｎｅｃｔｉｏｎ??１鮪：釦翮铺＆ｓａ字ｇ?ｂ齡雜ｐｍ?？上移＋?ｔ§??報到煺腸麵雜ＳＱＬ颳??名?翅链傾＾福ｎｕｌｌ挪?ｇ?餽??？?ｉｄ?ｉｎｔ?２５５?０?０?口声?１??ｘｕ?ｖａｒｃｈａｒ?２５５?０?□?□??ｎａｍｅ?ｖａｒｃｈａｒ?２５５?０?□?□??２０１?碎?ｆｌｏａｔ?２５５?２?□?□??２０１７年?ｆｌｏａｔ?２５５?２?口口??２０１?咩?ｆｌｏａｔ?２５５?２?□口??２０１?谇?ｆｌｏａｔ?２５５?２?□?□??２０１?禅?Ｂｏａｔ?２５５?２?□?□??２０１?坤?ｆｌｏａｔ?２５５?２?□口??２０１２年?ｆｌｏａｔ?２５５?２?□?□??图２－３创建表格??Ｆｉｇｕｒｅ?２－３?Ｃｒｅａｔｉｎｇ?ｄａｔａ?ｓｈｅｅｔ??２．?３．?３数据存储设计??网络爬虫技术获取了大量的数据，利用ｐｙｍｙｓｑｌ连接ＭｙＳＱＬ数据库，快速??实现数据的增加、删除、修改，数据存储流程如图２－４所示，具体步骤为：第??一步
【参考文献】：
期刊论文
[1]基于Python的天猫商品爬虫技术[J]. 侯洁茹,吕继续. 科技资讯. 2019(32)
[2]基于MySQL数据库的公路隧道围岩云分级系统[J]. 柳厚祥,蒋婷婷,李易承. 长沙理工大学学报(自然科学版). 2019(01)
[3]MySQL数据库性能优化研究[J]. 范开勇,陈宇收. 中国新通信. 2019(01)
[4]大数据环境下农业统计数据采集平台的设计[J]. 王英强,陈绥阳,王振铎. 电子设计工程. 2018(24)
[5]基于Scrapy框架的爬虫和反爬虫研究[J]. 韩贝,马明栋,王得玉. 计算机技术与发展. 2019(02)
[6]农业大数据研究与应用进展[J]. 王一鹤,杨飞,王卷乐,刘丽峰,马娅. 中国农业信息. 2018(04)
[7]基于Selenium的Python网络爬虫的实现[J]. 花君林. 电脑编程技巧与维护. 2017(15)
[8]基于“互联网+”的农业大数据平台构建[J]. 李瑾,顾戈琦. 湖北农业科学. 2017(10)
[9]中国农业统计体制及运行机制研究[J]. 王惠. 中国市场. 2017(14)
[10]数据挖掘在统计工作中的应用前景分析[J]. 赵慧. 科技资讯. 2017(14)
博士论文
[1]基于物联网的小麦生长环境数据采集与数据挖掘技术研究[D]. 时雷.河南农业大学 2013
硕士论文
[1]基于BP神经网络的网贷平台风险评价研究[D]. 王娟.北京交通大学 2019
[2]基于web的统计年鉴可视化系统设计与实现[D]. 郭梦杰.北京邮电大学 2019
[3]区域农业水土资源系统风险特征及其对种植结构的影响效应研究[D]. 李帅.东北农业大学 2018
[4]基于灰色系统理论的推荐算法研究[D]. 张克毅.重庆邮电大学 2018
[5]基于灰色关联度分析法及BP神经网络的中国对美木质家具出口贸易研究[D]. 张曦元.东北林业大学 2017
[6]基于温室环境数据挖掘的专家系统研究与应用[D]. 蒋兵兵.沈阳理工大学 2016
[7]基于Web的农产品市场数据挖掘系统开发研究[D]. 黄文秀.福建农林大学 2015
[8]云环境下个性化农业产销信息匹配推荐系统的研究和实现[D]. 王烁.中国农业科学院 2014
[9]基于GIS的农业气象信息数据挖掘系统的研究与实现[D]. 廖野翔.长江大学 2013
[10]基于Web的农业数据挖掘系统的研究与实现[D]. 刘天垒.中国农业科学院 2011
本文编号：3534836
【文章来源】：河北农业大学河北省
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
图２－１?ｓｅｌｅｎｉｕｍ爬虫流程??Ｆｉｇｕｒｅ?２－１?Ｓｅｌｅｎｉｕｍ?ｃｒａｗｌｅｒ?ｐｒｏｃｅｓｓ??７??
?河北农业大学硕士学位（毕业）论文???ｗ规高级ＳＳＬ?ＳＳＨ?ＨＴＴＰ??〔：：?：?：?：：＝：＝?－—????雜？ｌ：?‘１１：?ｆ：??Ｉ?ｆｅｃａｌｈｏｓｔ???．?謹??？口ｉ?３３ｐ６?｜????；ｒｏｏｔ??丨，?｜?—??Ｈ保码??１：??１??ｒ￣￣ｉ?ｒ?＇?■??Ｊｔ＾ＥＴＳｊＫＳｃＡ，?｜?■?．．．?■?Ｉ?Ｉ?＂＊３＾Ｊ＊＊??图２－２数据库连接??Ｆｉｇｕｒｅ?２－２?Ｄａｔａｂａｓｅ?ｃｏｎｎｅｃｔｉｏｎ??１鮪：釦翮铺＆ｓａ字ｇ?ｂ齡雜ｐｍ?？上移＋?ｔ§??報到煺腸麵雜ＳＱＬ颳??名?翅链傾＾福ｎｕｌｌ挪?ｇ?餽??？?ｉｄ?ｉｎｔ?２５５?０?０?口声?１??ｘｕ?ｖａｒｃｈａｒ?２５５?０?□?□??ｎａｍｅ?ｖａｒｃｈａｒ?２５５?０?□?□??２０１?碎?ｆｌｏａｔ?２５５?２?□?□??２０１７年?ｆｌｏａｔ?２５５?２?口口??２０１?咩?ｆｌｏａｔ?２５５?２?□口??２０１?谇?ｆｌｏａｔ?２５５?２?□?□??２０１?禅?Ｂｏａｔ?２５５?２?□?□??２０１?坤?ｆｌｏａｔ?２５５?２?□口??２０１２年?ｆｌｏａｔ?２５５?２?□?□??图２－３创建表格??Ｆｉｇｕｒｅ?２－３?Ｃｒｅａｔｉｎｇ?ｄａｔａ?ｓｈｅｅｔ??２．?３．?３数据存储设计??网络爬虫技术获取了大量的数据，利用ｐｙｍｙｓｑｌ连接ＭｙＳＱＬ数据库，快速??实现数据的增加、删除、修改，数据存储流程如图２－４所示，具体步骤为：第??一步
?河北农业大学硕士学位（毕业）论文???ｗ规高级ＳＳＬ?ＳＳＨ?ＨＴＴＰ??〔：：?：?：?：：＝：＝?－—????雜？ｌ：?‘１１：?ｆ：??Ｉ?ｆｅｃａｌｈｏｓｔ???．?謹??？口ｉ?３３ｐ６?｜????；ｒｏｏｔ??丨，?｜?—??Ｈ保码??１：??１??ｒ￣￣ｉ?ｒ?＇?■??Ｊｔ＾ＥＴＳｊＫＳｃＡ，?｜?■?．．．?■?Ｉ?Ｉ?＂＊３＾Ｊ＊＊??图２－２数据库连接??Ｆｉｇｕｒｅ?２－２?Ｄａｔａｂａｓｅ?ｃｏｎｎｅｃｔｉｏｎ??１鮪：釦翮铺＆ｓａ字ｇ?ｂ齡雜ｐｍ?？上移＋?ｔ§??報到煺腸麵雜ＳＱＬ颳??名?翅链傾＾福ｎｕｌｌ挪?ｇ?餽??？?ｉｄ?ｉｎｔ?２５５?０?０?口声?１??ｘｕ?ｖａｒｃｈａｒ?２５５?０?□?□??ｎａｍｅ?ｖａｒｃｈａｒ?２５５?０?□?□??２０１?碎?ｆｌｏａｔ?２５５?２?□?□??２０１７年?ｆｌｏａｔ?２５５?２?口口??２０１?咩?ｆｌｏａｔ?２５５?２?□口??２０１?谇?ｆｌｏａｔ?２５５?２?□?□??２０１?禅?Ｂｏａｔ?２５５?２?□?□??２０１?坤?ｆｌｏａｔ?２５５?２?□口??２０１２年?ｆｌｏａｔ?２５５?２?□?□??图２－３创建表格??Ｆｉｇｕｒｅ?２－３?Ｃｒｅａｔｉｎｇ?ｄａｔａ?ｓｈｅｅｔ??２．?３．?３数据存储设计??网络爬虫技术获取了大量的数据，利用ｐｙｍｙｓｑｌ连接ＭｙＳＱＬ数据库，快速??实现数据的增加、删除、修改，数据存储流程如图２－４所示，具体步骤为：第??一步
【参考文献】：
期刊论文
[1]基于Python的天猫商品爬虫技术[J]. 侯洁茹,吕继续. 科技资讯. 2019(32)
[2]基于MySQL数据库的公路隧道围岩云分级系统[J]. 柳厚祥,蒋婷婷,李易承. 长沙理工大学学报(自然科学版). 2019(01)
[3]MySQL数据库性能优化研究[J]. 范开勇,陈宇收. 中国新通信. 2019(01)
[4]大数据环境下农业统计数据采集平台的设计[J]. 王英强,陈绥阳,王振铎. 电子设计工程. 2018(24)
[5]基于Scrapy框架的爬虫和反爬虫研究[J]. 韩贝,马明栋,王得玉. 计算机技术与发展. 2019(02)
[6]农业大数据研究与应用进展[J]. 王一鹤,杨飞,王卷乐,刘丽峰,马娅. 中国农业信息. 2018(04)
[7]基于Selenium的Python网络爬虫的实现[J]. 花君林. 电脑编程技巧与维护. 2017(15)
[8]基于“互联网+”的农业大数据平台构建[J]. 李瑾,顾戈琦. 湖北农业科学. 2017(10)
[9]中国农业统计体制及运行机制研究[J]. 王惠. 中国市场. 2017(14)
[10]数据挖掘在统计工作中的应用前景分析[J]. 赵慧. 科技资讯. 2017(14)
博士论文
[1]基于物联网的小麦生长环境数据采集与数据挖掘技术研究[D]. 时雷.河南农业大学 2013
硕士论文
[1]基于BP神经网络的网贷平台风险评价研究[D]. 王娟.北京交通大学 2019
[2]基于web的统计年鉴可视化系统设计与实现[D]. 郭梦杰.北京邮电大学 2019
[3]区域农业水土资源系统风险特征及其对种植结构的影响效应研究[D]. 李帅.东北农业大学 2018
[4]基于灰色系统理论的推荐算法研究[D]. 张克毅.重庆邮电大学 2018
[5]基于灰色关联度分析法及BP神经网络的中国对美木质家具出口贸易研究[D]. 张曦元.东北林业大学 2017
[6]基于温室环境数据挖掘的专家系统研究与应用[D]. 蒋兵兵.沈阳理工大学 2016
[7]基于Web的农产品市场数据挖掘系统开发研究[D]. 黄文秀.福建农林大学 2015
[8]云环境下个性化农业产销信息匹配推荐系统的研究和实现[D]. 王烁.中国农业科学院 2014
[9]基于GIS的农业气象信息数据挖掘系统的研究与实现[D]. 廖野翔.长江大学 2013
[10]基于Web的农业数据挖掘系统的研究与实现[D]. 刘天垒.中国农业科学院 2011
本文编号：3534836
本文链接：https://www.wllwen.com/shoufeilunwen/zaizhiyanjiusheng/3534836.html
