12农产品安全追溯系统的云计算技术性能提升设计

发布时间：2016-10-18 10:37

本文关键词：农产品安全追溯系统的云计算技术性能提升设计，由笔耕文化传播整理发布。

第29卷第24期农业工程学报Vol.29No.2；2682013年12月Transactionso；?农产品加工工程?；农产品安全追溯系统的云计算技术性能提升设计；陈联诚，胡月明※，张飞扬，段文杰，余平祥；（华南农业大学信息学院，广州510642）；摘要：农业生产及环境的信息采集是农业信息系统的重；中图分类号：TP391文献标志码：A文章编号：1；陈联诚，胡

第29卷第24期农业工程学报 Vol.29 No.24

268 2013年 12月 Transactions of the Chinese Society of Agricultural Engineering Dec. 2013

?农产品加工工程?

农产品安全追溯系统的云计算技术性能提升设计

陈联诚，胡月明※，张飞扬，段文杰，余平祥

（华南农业大学信息学院，广州 510642）

摘要：农业生产及环境的信息采集是农业信息系统的重要环节，无线传感器网络以它的低成本、无线传输等优势广泛应用于农产品安全追溯的信息采集中。由于无线传感器网络长年不间断信息采集的积累，数据库的大信息量及网站用户高访问量将对网站服务器造成高负载的压力，这将导致网站的响应速度大大降低。采用高存储、高负载处理性能云计算计算技术，能提高网站访问的响应速度，提高网站的访问性能。该文设计了基于私有云的农产品安全追溯网站，研究了Hill-Climbing搜索算法优化云平台配置及MapReduce对大数据的并行计算，提高了私有云上的农产品安全追溯系统的性能。通过将网站系统迁移至私有云的前后的比较试验，说明将网站系统迁移至私有云后各方面性能得到较大提升，网站访问响应速度提高了33%。关键词：设计，农产品，网站，云计算，追溯，水产品，负载均衡 doi：10.3969/j.issn.1002-6819.2013.24.035

中图分类号：TP391 文献标志码：A 文章编号：1002-6819(2013)-24-0268-07

陈联诚，胡月明，张飞扬，等. 农产品安全追溯系统的云计算技术性能提升设计[J]. 农业工程学报，2013，29(24)：268－274.

Chen Liancheng, Hu Yueming, Zhang Feiyang, et al. Performance improving design on cloud computing for agricultural products safety traceability system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 268－274. (in Chinese with English abstract)

0 引言?

在推进农业信息化建设的进程中，农业生产、供应、销售链的信息采集是不可缺少的环节。无线传感器网络作为一种全新的信息采集技术，凭借其低功耗、低成本、无线传输等特点，已逐渐渗透到农业领域[1-5]。在国外Lee W S等提出的传感技术在农作物精确种植中的应用，利用无线传感技术精确采集农业现场数据信息，实现农作物的精确管理[6]。国内一些科研院所和高校展开了相关研究，刘卉等研究基于物联网的保育猪舍环境监控系统取得了较好效果[7]。

对于以无线传感器为采集端的农业信息系统，无线传感器网络不间断的采集、传输、存储数据以

收稿日期：2013-06-24 修订日期：2013-11-10

基金项目：广东省农村信息化建设专项资金项目（201210112600794）；广东省教育部产学研结合项目（2012B091100110）；广东省教育部产学研结合项目（2011B090400547）；广东省科技厅专业镇中小微企业公共服务平台建设（2012B040500060）；广东省科技厅专业镇中小微企业服务平台建设（2012B040500015）

作者简介：陈联诚（1946－），女，汉族，福建古田，教授，硕士生导师，主要从事农业信息系统研究。广州华南农业大学信息学院，510642。Email:liancheng@scau.edu.cn ※通信作者：胡月明（1964－），男，汉族，湖南，教授，博士生导师，主要从事地理信息应用研究。广州华南农业大学信息学院，510642。Email:ymhu@scau.edu.cn

及大量用户查询数据，都将对系统服务器造成较高的压力，导致系统网站访问及查询的响应时间上升。网站访问的响应时间是网站性能的关键因素，因此农业信息系统需要一个具有大容量存储能力、能处理并发高访问量的支持平台[8]。云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式，云计算是并行计算、网络存储、负载均衡等传统计算机和网络技术发展融合的产物，它具有多服务器协同工作能力、能分解高并发访问量及大信息存储造成的负载压力[9]。所以，继农业物联网之后，把云计算技术引入农业是必要的。云计算技术在农业领域起步较晚，目前已经运用到一些项目中。赵青松等为了提高作物生长模型的计算速度，提出了云环境下作物生长模型算法的实现方案[10]。杨锋等在Hadoop的基础上研究海量农业数据资源组织存储与检索技术，提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法[11]。因此，把云计算技术引入到农业领域具有重要意义[12-13]。

本项目承担农产品安全追溯系统的研发，包括农、林、牧、渔，品种繁多，系统的物联网信息采集系统长年不间断采集生产环境数据，系统数据量大，项目需要有大数据处理能力的云计算技术；其次，由于云平台内的硬件及软件资源可以共享、资

第24期陈联诚等：农产品安全追溯系统的云计算技术性能提升设计

269

源可以弹性配置，使用本系统的企业可直接利用云平台进行产品的发布及安全追溯，并且可以共享云平台的资源，不需要独自购买硬件软件、独自配套专业技术管理队伍，因此可以大大降低企业的开发及运营成本；再次，由于农产品安全追溯项目应用要求，项目将逐步在各地推开应用，使用平台的企业队伍不断扩大，这些企业将聚集在项目的‘平台’下进行生产经营，这个平台将引导农产品生产经营走向集团化、工厂化生产。所以，把云计算技术应用于本项目将大大提升项目的适用意义。

本文设计了基于私有云的农产品安全追溯系统并实现了系统网站的性能提升。项目研究云计算技术对大信息量存储及客户高访问量的高负载处理性能，通过测试私有云处理高访问量时的响应时间等性能，检测私有云分解处理高负载的能力。

2 方法及实现

2.1 基于云计算技术的农产品安全追溯网站的构建 2.1.1 私有云的构建

本项目用Amazon的EC2的品高云开发软件在4台物理机上构建小型私有云，一台作为云控制器（CLC），负责管理和调度集群控制器（CC）的计算资源和网络资源，以及存储控制器（SC）的存储资源；另外3台既作为集群控制器也作为存储控制器，运行EC2实例来提供实际计算和存储能力。

农产品安全追溯系统的整体布局规划及结构如图1所示，其中IP地址为192.168.1.174和192.168.1.175的实例负责支撑农产品安全追溯子系统的运行，并由一台IP地址为192.168.1.173的外部Nginx代理服务器对用户的高访问请求进行负载均衡。IP地址为192.168.1.173的实例用于接收和处理信息采集子系统发送的数据。另外，项目还拟用并行计算对农产品监测结果进行综合分析，需在私有云上启用3台Linux实例并部署一个小型Hadoop集群，并将每日的采集信息上传至Hadoop中进行1次MapReduce统计，统计结果保存至SQL Server数据库。

1 系统整体结构及基本原理

本文设计的基于云计算技术的农产品安全追溯系统逻辑上可划分为3大子系统：私有云、农产品安全追溯子系统、无线传感器网络环境信息采集子系统，现已有一套信息采集子系统部署在珠海生产基地。

本项目中的私有云采用基于Amazon的EC2系列的品高云平台构建通过虚拟化技术整合现有的物理服务器及网络资源，为农产品安全追溯系统提供并行计算和存储能力。农产品安全追溯子系统采用.NET技术开发，运行于IIS网站服务器和SQL Server数据库集群中，并由Nginx代理服务器对网站的高访问请求进行负载均衡。信息采集子系统采用基于Atmel单片机、CC1000芯片和各类型传感器组成的以生产过程中的温度、pH值、湿度等为检测目标的无线传感器网络，传感数据经由GPRS移动网络上传到服务器，对数据进行转化处理后存储至SQL Server数据库集群，客户可根据需求下载所需的信息。

项目先构建私有云，然后把农产品安全追溯子系统迁移到私有云，再把无线传感器网络采集子系统与私有云对接，完成了基于云计算技术的农产品安全追溯子系统构建；最后通过优化系统的各项配置及运用并行计算等技术，提升系统性能。

系统工作原理是无线传感器网络把采集到的现场环境信息数据传送到云端服务器。私用云自动分配大数据量的存储。大量客户追溯产品信息时，私有云能自动均衡大访问量、高负载的信息查询任务，并运用并行计算技术，使多台服务器协同工作，快速查询并反馈客户追溯的信息。

图1 基于私有云农产品安全追溯网站结构框图 Fig.1 Structure block diagram of agricultural product safety

trace website based on private cloud

在构建了私有云后，即可进行农产品安全追溯系统网站的云端迁移及无线传感器网络与私有云的对接，构建基于云计算技术的农产品安全追溯系统。

2.1.2 农产品安全追溯网站的云端迁移

此前农产品安全追溯系统网站及数据库均由广州市某数据中心托管，因此需将网站和已有数据下载并迁移到EC2实例中。网站部署在IIS网站服务器中，数据则存储在SQL Server，，其中2台SQL

270

农业工程学报 2013年

Server启用对等复制功能，以保证2个实例内的SQL Server数据库实时同步。最后将Nginx负载均衡器的后端路径分别指向这2个实例的IP，并采用默认轮询策略实现高访问量的负载均衡。

图2 农产品追溯系统网站首页

agricultural product safety trace website Fig.2 Homepage of

2.1.3 信息采集无线传感器网络与私有云的对接

无线传感器网络通过网关上的GPRS模块将数据传上互联网，因此私有云中需要通过专门的数据接收程序与无线传感器网络的GPRS模块对接。

首先修改无线传感器网络的网关模块，将数据连接指向私有云对外地址上的8010端口；然后在私有云的网关上做地址映射，将对外的8010端口映射到私有云内IP地址为192.168.1.173的实例的8010端口；再后调整192.168.1.173的实例中的数据接收程序，数据存储则指向同实例内的SQL Server数据库；最后将此数据库与云计算平台内的SQL Server数据库集群同步并加入到集群中。至此完成无线传感器网络与私有云的对接。

2.2 基于私有云的追溯系统网站性能提升及检测试验

2.2.1 用Hill-Climbing搜索算法优化基于私有云的追溯系统网站的性能配置

影响农产品追溯系统网站性能的主要因素是系统运行过程中用户访问网站的并发数和运行时硬件资源使用状况，这些资源除了构建私有云的物理机的CPU、内存使用量、网络情况及3个实例中CPU、内存的使用量外，还与另外4台负责提供访问压力的测试机的CPU、内存使用量有直接的关系。如果将18个主要影响因素及它们交互作用的影响进行组合，用穷举法搜索策略，在给定的时间内很难得到优化结果的。本文采用Hill-Climbing启发式搜索算法优化私有云内的农产品追溯系统的性能配置。

Hill-Climbing（爬山法）是启发式搜索的一种情况。“搜索”是人工智能的一种基本技术，“启发”是关于发现和发明规则及方法的研究。在状态空间的搜索中，启发式被定义成一系列规则，它指导搜索向最有希望的方向进行从而降低了搜索的复杂性。在搜索过程中扩展当前结点并估价它的子结点，最优的子结点被选择并进一步扩展。当搜索达到一种状态，该状态比它的所有子结点都要好，则搜索停止[14-18]。为避免搜索结果隐入局部最大值的缺陷，搜索算法中采用了随机选取多个搜索起点的方法，逐步优化局部解，加快了满意解的产生速度。

对于农产品追溯系统网站云Hill-Climbing搜索算法性能的提升中，性能指标可以分为事务部分、Web资源部分、资源使用部分。由于能够测试出来的指标过多，因此本文中选择平均事务响应时间、响应时间标准差、响应事务量、失败事务率、每秒点击数以及CPU使用率这6个最能反映影响用户访问网站时的感受的指标作为主要性能指标。在优化搜索过程中扩展当前6个维的结点并估价它的子结点，最优的子结点被选择并进一步扩展。

为避免搜索结果陷入局部最大值的缺陷，搜索算法中采用了随机选取多个搜索起点的方法，逐步优化局部解，加快了满意解的产生速度。

2.2.2 MapReduce 对大数据并行计算的处理

云计算的核心技术之一是MapReduce，它为并行系统的数据处理提供了一个有效的解决方案[19-21]。

一个MapReduce操作分为2个阶段：Map阶段和Reduce阶段。Map负责把任务分解成多个任务，Reduce 负责把分解后多个任务处理的结果汇总起来[22-25]。图3说明了用 MapReduce 来处理大数据集的过程。用map函数接受数据并产生<key, value>形式的中间输出，将所有具有相同中间key值的value集合到一起传递给reduce函数，reduce函数接收一个如<key, list(value)>形式的输入，然后对这个value集合进行处理，最后产生一个<key, value>形式的输出[26-30]。这样云平台就把大数据分成多个任务，分派给多个计算节点进行并行计算，因此云平台上系统的性能就进一步得到提升。以本系统中对养殖个体健康行为监测模块为例，对于3次/s采集到的海量数据及复杂的分析流程，用Map把任务分解成多个任务，再用Reduce把分解后多任务处理的结果汇总起来，最后得到养殖个体属于‘健康、病态、死亡、失踪’的监测结果。

2.2.3 基于私有云的追溯网站的性能检测

基于私有云的农产品追溯系统网站性能测试结构框图如图4所示。

第24期陈联诚等：农产品安全追溯系统的云计算技术性能提升设计

271

试验将对常规服务器内网站和私有云上网站进行各3次重复试验，以获取高负载运行状况下性能优化后私有云上网站与常规服务器上网站在响应时间等性能参数的比较。

图3 MapReduce处理大数据集的过程

Fig.3

Process of MapReduce dealing with big data

3 结果与分析

比较私有云内各个服务器与资源配置相应的常规服务器性能测试数据，测试结果如表1所示。

表1 性能检测结果

Table 1 Result of performance test

常规服务器

性能指标提升效果

平均值Performance 试验1试验2 试验3 平均值 Improvement Normal efficiencyindex Test 1Test 2Test 3 Mean server mean

平均事务响应时间 Average 15.215.314.3 14.9 22.3 减少33%transaction response time

t/s 响应时间

减少标准差 3.7 4.9 3.5 4.0 5.8

31% Response time

Std. deviation响应事务量Transaction

15.114.915.1 15.1 13.3 增加13.7%

summary /万件失败事务率

Percentage of 0.150.160.17 0.16 0 增加16%

fail

Transaction/%每秒点击数

Hits per second264327612770 2725 2380 增加14.5%

/次 CPU使用率

85.390.2,89.9

88.4 100 减少11.6%Processor

85.489.689.7

time/%

云平台 Clound platform

图4 性能测试连接图

Fig.4 Connect diagram of performance testing

本次测试使用LoadRunner8.1作为测试软件，由4台测试机组成压力输出机群，机群最高能模拟1,800个用户并发访问追溯网站，软件同时能检测并显示出网站平均事务响应时间等性能参数。

图4左边是对常规服务器内网站访问压力测试的结构图，测试机群将模拟1 800个用户并发访问常规服务器的农产品追溯系统网站；图4右边是对基于私有云上网站的压力测试结构图，测试机群模拟1 800个用户并发访问私有云上的网站，访问压力通过Nginx负载均衡器自动分配到2个实例内的农产品追溯系统网站。

性能测试的每个并发线程执行的事务操作包括：

1）访问农产品追溯系统网站的主页，新闻公告等子页面；

2）网站3次连接数据库并对通知公告数据库表进行条件查询，完成后将查询到的信息显示到网页上。

3）网站4次连接数据库并对新闻信息数据库表进行条件查询，完成后将查询到的信息显示到网页上。

4）网站6次连接数据库并对饲料信息数据库表进行条件查询，完成后将查询到的信息显示到网页上。

从测试结果可以看出：

1）私有云上的追溯系统网站对事务响应要比常规服务器上网站对事物平均响应时间缩短了1/3，说明私有云上的网站应对高并发访问的响应速度加快了，这样在网站访问的高峰时期也能保证访问的顺畅。网站响应时间是网站性能的一个重要标志，说明运用私有云有效地提高了追溯网站响应性能。

2）在相同时间内私有云上的追溯网站完成的事务总数比常规网站多了13.7%、每秒点击数多了14.5%，表明经过私有云性能提升后，追溯系统处理事务能力提高了。

3）私有云上的实例CPU使用率比常规网站少了11.6%，表明当并发数是1 800人时，常规服务器CPU已是满负载了，而私有云平台内各个服务器还有潜力承担更多的负载。

4）私有云的追溯网站在高负载时平均事务响应时间的方差为4.048，说明网站响应时间工作较稳定，在承担较大的并发访问压力时，私有云上的

272

农业工程学报 2013年

[5] 骆凯，李淼，胡泽林. 基于WSN的农业信息远程监控

系统的设计与实现[J]. 自动化与仪器仪表，2008(4)：14－17.

Luo Kai, Li Miao, Hu Zelin. Design and realization of remote monitoring system of agricultural information based on WSN[J]. Automation and Instrumentation, 2008(4): 14－17. (in Chinese with English abstract)

[6] Leea W S, Alchanatis V, Yang C, et al. Sensing

technologies for precision specialty crop production[J]. Mputers and Electronics in Agriculture, 2010, 74(1): 2－33.

[7] 朱伟兴，戴陈云，黄鹏. 基于物联网的保育猪舍环境监控系统[J]. 农业工程学报，2012，28(11)：177－182. Zhu Weixing, Dai Chenyun, Huang Peng. Environmental control system based on IOT for nursery pig house[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(11): 177－182. (in Chinese with Englishabstract)

[8] Bo Yifan, Wang Haiyan, The application of cloud

computing and the internet of things in agriculture and forestry[C]//IJCSS, 2011 International Joint Conference on Service Sciences, 2011: 168－172. [9] 张建勋，古志民，郑超. 云计算研究进展综述[J]. 计算机应用研究，2010(1)：429－433.

Zhang Jianxun, Gu Zhimin, Zheng Chao. Survey of research progress on cloud computing[J]. Application Research of Computers, 2010(1): 429－433. (in Chinese with English abstract)

[10] 杨锋，吴华瑞，朱华吉，等. 基于Hadoop的海量农业

数据资源管理平台[J]. 计算机工程，2011，37(12)：242－244.

Yang Feng, Wu Huarui, Zhu Huaji, dt al. Massive agricultural data resource management platform based on hadoop[J]. Computer Engineering, 2011, 37(12): 242－244. (in Chinese with English abstract)

[11] 赵青松，陈林，孙波，等. 基于Hadoop的云环境下作

物生长模型算法的实现与测试[J]. 农业工程学报，2013，29(8)：179－186.

Zhao Qingsong, Chen Lin, Sun Bo, et al. Algorithm implementation and tested of crop growth model based on hadoop of cloud computing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(8): 179－186. (in Chinese with English abstract)

[12] 王诗丛，郑立华，李民赞，等. 基于云计算平台的农

田GIS模块的开发和实现[C]//中国农业工程学会2011年学术年会论文集，2011.

[13] 叶勇，张友华，乐毅，等. 食品安全追溯研究[J]. 华中

农业大学学报：社会科学版，2011(2).

Ye Yong, Zhang Youhua, Yue Yi, et al. Traceability study of food safety issues[J]. Journal of Huazhong Agricultural University: Social Sciences Edition, 2011(2). (in Chinese with English abstract)

网站还能保持稳定的响应状态。

4 结论

农产品安全追溯系统经过云计算技术的性能提升后，网站及数据库有更多的运算资源，可以应对无线传感器网络自动采集系统大数据量的传输与存储，可以承担更大的网站访问量和数据库负载量，从上一节的分析中可以看出，系统各方面性能得到较大提升，对事物响应时间缩短了1/3,相同时间内完成事务总数多了13.7%，特别是网站的响应时间提高了33%。

网站访问的响应时间决定信息网站质量，影响信息网站的访问量，所以它对以物联网为信息采集端的农产品安全追溯系统质量提升起重要作用。本文研究方法可适用于类似信息网站。

[参考文献]

[1] 刁智华，陈立平，吴刚，等. 设施环境无线监控系统的设计与实现[J]. 农业工程学报，2008，24(7)：146－150. Diao Zhihua, Chen Liping, Wu Gang, et al. Design and implementation of wireless monitoring and control system for protected environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(7): 146－150. (in Chinese with English abstract) [2] 段志超，杜克明，孙忠富，等. 基于ARM-Linux和GPRS

的农业环境无线远程监控系统[J]. 农业网络信息，2008(6)：12－15.

Duan Zhichao, Du Keming, Sun Zhongfu, et al. Wireless elemonitoring system for agriculture environment based on ARM-Linux and GPRS[J]. Agriculture Network Information, 2008(6): 12－15. (in Chinese with English abstract)

[3] 李秀红，孙忠富，肖春华，等. 基于μC/OS-II 嵌入式

技术的农业环境远程监控系统实现[J]. 农业工程学报，2007，23(10)：156－161.

Li Xiuhong, Sun Zhongfu, Xiao Chunhua, et al. Development of remote monitoring system based on μC/OS-II embedded technology for agricultural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(10): 156－161. (in Chinese with English abstract)

[4] 周国祥，周俊，苗玉彬，等. 基于GSM的数字农业远

程监控系统研究与应用[J]. 农业工程学报，2005，21(6)：87－91.

Zhou Guoxiang, Zhou Jun, Miao Yubin, et al. Development and application on GSM-based monitoring system for digital agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2005, 21(6): 87－91. (in Chinese with English abstract)

三亿文库3y.uu456.com包含各类专业文献、中学教育、高等教育、各类资格考试、应用写作文书、12农产品安全追溯系统的云计算技术性能提升设计_陈联诚_图文等内容。

下载地址：12农产品安全追溯系统的云计算技术性能提升设计_陈联诚_图文.Doc

　　【】