基于分布式存储的生态猪场数据管理技术的应用研究
发布时间：2021-01-30 12:28
大数据管理是智慧和生态农业的关键技术之一。传统的集中式数据管理在大数据存储与处理上存在读写效率低、可扩展性差等不足之处,这些不足制约了集中式数据库在大数据领域的推广应用。目前针对大数据的管理很多互联网公司、电商平台已经有了很好的解决方案,但是面向农业大数据管理的低成本、低能耗、高可靠的存储方案基本没有。分布式数据库是大数据存储与处理的主要解决方案之一,通过构建分布式集群,对集中式数据库中的数据进行切片,将数据分散存储到各个分片节点上,通过各节点之间的协同工作实现大数据的存储与处理。数据的分布式存储导致对数据的操作往往需要跨节点进行,造成了数据处理的复杂性,因此在实际应用中通常采用中间件作为代理的形式实现分布式存储架构设计,通过中间件管理底层的物理数据库,将底层的数据库虚拟映射成一个数据库呈现给上层用户,屏蔽了分布式数据库的数据处理问题,降低了分布式数据库的复杂性。本文分析了当前主流的分布式数据存储方案,在此基础上引入Mycat分布式数据库中间件,结合猪场管理系统存储扩展的具体需求,提出了基于Mycat的分布式数据存储设计及实现方案。本文具体工作如下:（1）对分布式存储进行了详细的理论研...
【文章来源】：安徽农业大学安徽省
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
图２－１猪场感应杆示意图??
定的规则，将一个数据库中的??数据切分开来，并将切分的数据存到多个数据库节点中，以减轻单台数据库的负载??［３６］［３７］。??数据库的切分根据切分规则可分为垂直切分和水平切分两种模式。??（１）垂直切分。垂直切分［％方式是根据业务，将不同业务类型的表切分到不同??数据库节点中，这样当其中一个数据库节点崩溃了也不会影响其他业务的正常进行，??而且也降低单个数据库服务器的压力，起到了负载分流的作用，这样在高并发的情况??下可以大大地提升数据库的吞吐能力，提高数据库性能。垂直切分方式如图２．２所示。??用户表?仔猪表＇运动表、??７?＼??用户表?仔猪表?运动表??－Ｘ?■?＋??Ｖ?Ｊ?Ｉ?＞??图２－２垂直切分方式??Ｆｉｇ?２－２?Ｖｅｒｔｉｃａｌ?ｓｅｇｍｅｎｔａｔｉｏｎ??垂直切分方式的切分规则比较简单，实施起来比较方便，比较适合系统中的业务??之间的关联程度低，对彼此的影响小，逻辑比较清晰的系统［３９］。但是有些业务之间或??多或少的都会有联系。如针对猪场的数据管理中的三张数据表，用户信息表、仔猪信??息表和运动信息表，三张表之间有关联关系，如果直接按照垂直切分的方式将三张表??８??
ｊｏｉｎ的难度很大，会造成数据库性能降低，而且运动??信息表由于实时接收感应粧传过来的数据导致表数据量非常大，但另外两张表中的数??据并没有达到ｍｙｓｑｌ数据库的阈值，这种垂直切分的方式并不能很好地解决大表的性??能瓶颈和高并发等问题。??（２）水平切分。水平切分方式是根据数据表的逻辑关系，根据某些定义好的规??则将原本存在一张表中的数据拆分开来分散到多台服务器上［４Ｃ］［４１】，水平切分方式能??够有效的缓解单机单库的性能瓶颈，突破ｉ〇、连接数、硬件资源的限制。水平切分方??式如图２．３所示。??Ｓｈａｒｄ?１?用户表????仔猪％??用户表?仔猪表?ｆ运动表ｒｚ???Ｉ?［运动￥?ｊ??：■■■?Ｉ??｛■２ｌ?｝?［?Ｊ?ｓｈａｒｄ２?用户表??、［涵表??运动ｆ??图２－３水平切分方式??Ｆｉｇ?２－３?Ｈｏｒｉｚｏｎｔａｌ?ｓｅｇｍｅｎｔａｔｉｏｎ??水平切分方式相较于垂直切分要复杂一些，因为要将同一张表中的不同数据拆分??到不同的数据库中，拆分规则比较复杂，后期对表中数据的维护相较而言也会更复杂。??针对猪场管理系统，如图２．３的水平切分方式中可将用户信息表、仔猪信息表和运动??信息表Ｈ张有关联关系的数据表按照仔猪耳标号进行水平切分，这样切分既保存了表??与表之间的关联联系，让这三张表之间不需要跨分片查询，并且也解决了运动信息表??单表数据量大的问题，通过水平切分能够缓解数据库中单表的压力。??在实际的开发中可以根据系统需求按照模块进行垂直切分，对于某些单张表数据??量很大的情况，通过垂直切分的方式无法缓解数据量问题，可以对这些表采用水平切??分的方式实现数据库切分。??９??
【参考文献】：
期刊论文
[1]我国智慧农业发展规模前景趋势分析[J]. 新农业. 2019(04)
[2]2018养猪业关键词——AI养猪、非洲猪瘟、中美贸易摩擦[J]. 本刊编辑部. 今日养猪业. 2019(01)
[3]智慧农业九大发展趋势分析:可视化将成为智慧农业发展所趋[J]. 现代畜牧兽医. 2018(12)
[4]基于虚拟化的负载均衡机制在调度管理业务中的应用[J]. 吴鑫. 电力与能源. 2018(05)
[5]智慧农业大数据平台构建的研究[J]. 毛林,成维莉. 农业网络信息. 2018(06)
[6]基于Mycat的分布式数据库在运营商IT系统转型中的实现与探索[J]. 周智. 电脑知识与技术. 2018(15)
[7]为中国人工智能产业的明天喝彩[J]. 刘启诚. 通信世界. 2018(13)
[8]“名企务农”注入发展新动能[J]. 刘悦. 当代贵州. 2018(17)
[9]医疗大数据平台数据高并发方案设计与关键技术分析[J]. 张伟. 信息技术与网络安全. 2018(04)
[10]MySQL数据库主从复制的实现[J]. 何小川. 广东通信技术. 2017(10)
硕士论文
[1]基于MyCAT的智能水表系统数据库的研究与实现[D]. 曾加帮.华中科技大学 2017
[2]大数据量下的实时数据报表系统的设计与实现[D]. 周豪.北京交通大学 2016
[3]基于共享模式的多租户数据拆分系统的设计与实现[D]. 鄢素涛.上海交通大学 2016
[4]基于MyCAT的分布式数据存储研究与应用[D]. 王葱.东华大学 2016
[5]MyCat中倾斜连接优化技术研究与实现[D]. 胡睿.东华大学 2016
[6]虚拟化构架下服务器监控系统的设计与实现[D]. 陈凯.复旦大学 2013
[7]基于SaaS的数据库构建方案的研究与实现[D]. 徐江曼.山东大学 2012
[8]基于Android平台的手机桌面资讯系统的设计与实现[D]. 卢娜.西安电子科技大学 2011
[9]数据库集群中间件MySQL Proxy研究与分析[D]. 祝雄锋.武汉理工大学 2011
本文编号：3008901
【文章来源】：安徽农业大学安徽省
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
图２－１猪场感应杆示意图??
定的规则，将一个数据库中的??数据切分开来，并将切分的数据存到多个数据库节点中，以减轻单台数据库的负载??［３６］［３７］。??数据库的切分根据切分规则可分为垂直切分和水平切分两种模式。??（１）垂直切分。垂直切分［％方式是根据业务，将不同业务类型的表切分到不同??数据库节点中，这样当其中一个数据库节点崩溃了也不会影响其他业务的正常进行，??而且也降低单个数据库服务器的压力，起到了负载分流的作用，这样在高并发的情况??下可以大大地提升数据库的吞吐能力，提高数据库性能。垂直切分方式如图２．２所示。??用户表?仔猪表＇运动表、??７?＼??用户表?仔猪表?运动表??－Ｘ?■?＋??Ｖ?Ｊ?Ｉ?＞??图２－２垂直切分方式??Ｆｉｇ?２－２?Ｖｅｒｔｉｃａｌ?ｓｅｇｍｅｎｔａｔｉｏｎ??垂直切分方式的切分规则比较简单，实施起来比较方便，比较适合系统中的业务??之间的关联程度低，对彼此的影响小，逻辑比较清晰的系统［３９］。但是有些业务之间或??多或少的都会有联系。如针对猪场的数据管理中的三张数据表，用户信息表、仔猪信??息表和运动信息表，三张表之间有关联关系，如果直接按照垂直切分的方式将三张表??８??
ｊｏｉｎ的难度很大，会造成数据库性能降低，而且运动??信息表由于实时接收感应粧传过来的数据导致表数据量非常大，但另外两张表中的数??据并没有达到ｍｙｓｑｌ数据库的阈值，这种垂直切分的方式并不能很好地解决大表的性??能瓶颈和高并发等问题。??（２）水平切分。水平切分方式是根据数据表的逻辑关系，根据某些定义好的规??则将原本存在一张表中的数据拆分开来分散到多台服务器上［４Ｃ］［４１】，水平切分方式能??够有效的缓解单机单库的性能瓶颈，突破ｉ〇、连接数、硬件资源的限制。水平切分方??式如图２．３所示。??Ｓｈａｒｄ?１?用户表????仔猪％??用户表?仔猪表?ｆ运动表ｒｚ???Ｉ?［运动￥?ｊ??：■■■?Ｉ??｛■２ｌ?｝?［?Ｊ?ｓｈａｒｄ２?用户表??、［涵表??运动ｆ??图２－３水平切分方式??Ｆｉｇ?２－３?Ｈｏｒｉｚｏｎｔａｌ?ｓｅｇｍｅｎｔａｔｉｏｎ??水平切分方式相较于垂直切分要复杂一些，因为要将同一张表中的不同数据拆分??到不同的数据库中，拆分规则比较复杂，后期对表中数据的维护相较而言也会更复杂。??针对猪场管理系统，如图２．３的水平切分方式中可将用户信息表、仔猪信息表和运动??信息表Ｈ张有关联关系的数据表按照仔猪耳标号进行水平切分，这样切分既保存了表??与表之间的关联联系，让这三张表之间不需要跨分片查询，并且也解决了运动信息表??单表数据量大的问题，通过水平切分能够缓解数据库中单表的压力。??在实际的开发中可以根据系统需求按照模块进行垂直切分，对于某些单张表数据??量很大的情况，通过垂直切分的方式无法缓解数据量问题，可以对这些表采用水平切??分的方式实现数据库切分。??９??
【参考文献】：
期刊论文
[1]我国智慧农业发展规模前景趋势分析[J]. 新农业. 2019(04)
[2]2018养猪业关键词——AI养猪、非洲猪瘟、中美贸易摩擦[J]. 本刊编辑部. 今日养猪业. 2019(01)
[3]智慧农业九大发展趋势分析:可视化将成为智慧农业发展所趋[J]. 现代畜牧兽医. 2018(12)
[4]基于虚拟化的负载均衡机制在调度管理业务中的应用[J]. 吴鑫. 电力与能源. 2018(05)
[5]智慧农业大数据平台构建的研究[J]. 毛林,成维莉. 农业网络信息. 2018(06)
[6]基于Mycat的分布式数据库在运营商IT系统转型中的实现与探索[J]. 周智. 电脑知识与技术. 2018(15)
[7]为中国人工智能产业的明天喝彩[J]. 刘启诚. 通信世界. 2018(13)
[8]“名企务农”注入发展新动能[J]. 刘悦. 当代贵州. 2018(17)
[9]医疗大数据平台数据高并发方案设计与关键技术分析[J]. 张伟. 信息技术与网络安全. 2018(04)
[10]MySQL数据库主从复制的实现[J]. 何小川. 广东通信技术. 2017(10)
硕士论文
[1]基于MyCAT的智能水表系统数据库的研究与实现[D]. 曾加帮.华中科技大学 2017
[2]大数据量下的实时数据报表系统的设计与实现[D]. 周豪.北京交通大学 2016
[3]基于共享模式的多租户数据拆分系统的设计与实现[D]. 鄢素涛.上海交通大学 2016
[4]基于MyCAT的分布式数据存储研究与应用[D]. 王葱.东华大学 2016
[5]MyCat中倾斜连接优化技术研究与实现[D]. 胡睿.东华大学 2016
[6]虚拟化构架下服务器监控系统的设计与实现[D]. 陈凯.复旦大学 2013
[7]基于SaaS的数据库构建方案的研究与实现[D]. 徐江曼.山东大学 2012
[8]基于Android平台的手机桌面资讯系统的设计与实现[D]. 卢娜.西安电子科技大学 2011
[9]数据库集群中间件MySQL Proxy研究与分析[D]. 祝雄锋.武汉理工大学 2011
本文编号：3008901
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3008901.html
