面向经济动态系统的CRP查询优化技术研究与实现
发布时间：2020-04-19 00:52
【摘要】：多处理器系统具有良好的可扩展性,它可以满足大型数据库的高性能需求。在多处理器系统中,影响其查询效率的一个重要的因素就是查询调度。虽然国内外学者对于查询调度的研究层出不穷,但是到目前为止,绝大多数关于查询调度的研究都集中在如何有效处理单个查询上,而对于多重查询调度的研究非常有限。本文的多重查询调度研究就此展开,该研究可以充分发挥多处理器系统的性能,有效提升数据库的查询效率。本文在分析现有大型数据库查询系统的基础上,考虑应采用Shared Nothing多处理器架构;我们分析了现有的多重调度算法,在此基础上提出了基于连续读取特性的Consecutive Retrieval Property调度算法。该算法可以从重组过的查询队列中,快速地找到占用全部或最多处理节点的查询组合,并将这个组合列为一个批次并行执行,这能够充分发挥多处理器系统的性能,从而有效地加快数据库的查询速度。算法的关键在于应用基于连续读取特性的重组策略,使待查询数据可以重组为具有C-R property的连续关系,然后依照此连续关系将数据顺序存储在存储器中,从而解决现有算法部分系统资源闲置的问题。CRP-Scheduling算法中并未考虑到系统对内存的需求及可能发生的I/O时间,也未考虑慢查询对于查询性能的影响。我们考虑将以上因素与CRP-Scheduling算法结合在一起,尽量保证能够重复使用内存中已存在的数据,同时避免因执行慢查询导致的系统资源闲置问题,故提出CRP-Scheduling的改进算法ICRP-Scheduling。本文通过实验证实不论内存大小、资源大小、资源种类数量以及慢查询频率如何变化,该改进算法在系统利用率和系统性能方面均明显优于其他算法,特别是当内存容量远大于查询处理对内存的需求量,以及资源大小小于320K时,该算法相较于传统的Largest-Fit-First算法有3倍以上的系统性能提高。从而证明该改进算法确实可行,对提高数据库查询的性能有很大帮助。本文将改进的查询调度算法应用在了新建的经济动态系统的查询相关模块中,使系统查询效率有了明显的提升。我们还详细介绍了整个系统的总体架构以及各个功能模块的详细设计,最后完整的展示了系统的运行状态。
【图文】：
第四章 需求分析与系统设计表 4.2 Solr 基本配置文件配置 1 solr 配置文件<env-entry><env-entry-name>solr/home</env-entry-name><env-entry-value>E:\solrhome</env-entry-value><env-entry-type>java.lang.String</env-entry-type></env-entry>将 solr-4.9.1\example\solr 路径下的所有文件复制到新的 E:\solrhome 路径下。此时需要将两个路径的 jar 文件复制到 Tomcat，其一是将 solr-4.9.1\example\lib\ext 这个路径下的所有 jar 文件直接拷贝到 tomcat 的 lib 文件下。另外还要将 solr-4.9.1\example\lib 路径下的所有 jar 文件复制到 tomcat 的 lib 文件下。将example/resource下的log4j.properties文件复制到/webapps/mysolr/solr/classpath路径下，，此时就完成了 solr 环境的基本搭建。访问访问 http://loclhost:8080/solr 可看到图 4.8 效果：
图 4.9 Solr 建立多核环境效果点击 add Core 添加一个核心，在跳出的核心属性栏中输入核心名称和配置文件路径信息，完成一个新的核心的创建。（3）solr 与数据库建立连接配置\solr_home\test\conf\solrconfig.xml，在 solrconfig.xml 文件头的位置加上一个dataimport 的处理方法 Handler。如表 4.3 所示。表 4.3 Solr 与数据库连接配置 1配置 2 solr 与数据库连接 1<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><str name="config">data-config.xml</str></lst></requestHandler>在同目录下添加一个，data-config.xml 在这个 xml 文件中将实现数据库的映射关
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;TP332
本文编号：2632736
【图文】：
第四章 需求分析与系统设计表 4.2 Solr 基本配置文件配置 1 solr 配置文件<env-entry><env-entry-name>solr/home</env-entry-name><env-entry-value>E:\solrhome</env-entry-value><env-entry-type>java.lang.String</env-entry-type></env-entry>将 solr-4.9.1\example\solr 路径下的所有文件复制到新的 E:\solrhome 路径下。此时需要将两个路径的 jar 文件复制到 Tomcat，其一是将 solr-4.9.1\example\lib\ext 这个路径下的所有 jar 文件直接拷贝到 tomcat 的 lib 文件下。另外还要将 solr-4.9.1\example\lib 路径下的所有 jar 文件复制到 tomcat 的 lib 文件下。将example/resource下的log4j.properties文件复制到/webapps/mysolr/solr/classpath路径下，，此时就完成了 solr 环境的基本搭建。访问访问 http://loclhost:8080/solr 可看到图 4.8 效果：
图 4.9 Solr 建立多核环境效果点击 add Core 添加一个核心，在跳出的核心属性栏中输入核心名称和配置文件路径信息，完成一个新的核心的创建。（3）solr 与数据库建立连接配置\solr_home\test\conf\solrconfig.xml，在 solrconfig.xml 文件头的位置加上一个dataimport 的处理方法 Handler。如表 4.3 所示。表 4.3 Solr 与数据库连接配置 1配置 2 solr 与数据库连接 1<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><str name="config">data-config.xml</str></lst></requestHandler>在同目录下添加一个，data-config.xml 在这个 xml 文件中将实现数据库的映射关
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;TP332
【参考文献】
相关期刊论文 前8条
1 高珂;陈荔城;范东睿;刘志勇;;多核系统共享内存资源分配和管理研究[J];计算机学报;2015年05期
2 吴建;;开源MVC框架的优势与应用[J];湖南工程学院学报(自然科学版);2012年03期
3 崔建远;;以物抵债的理论与实践[J];河北法学;2012年03期
4 李亮;聂瑞华;;高性能计算平台的IO性能测试与分析[J];计算机与现代化;2011年06期
5 左利云;吴良海;;基于内存管理的多重查询调度算法[J];计算机技术与发展;2010年07期
6 冯璐;冯凤娟;;单例模式在数据库连接池中的应用[J];网络安全技术与应用;2008年03期
7 周飞菲;;Java中的适配器模式[J];科技信息(学术研究);2007年16期
8 杨晓宇,岳丽华,柳建平;多重查询优化技术在移动数据库中的应用[J];小型微型计算机系统;2004年08期
相关硕士学位论文 前3条
1 陈文通;基于多核CPU列数据库原语调度引擎优化研究[D];华南理工大学;2016年
2 肖露;Spring框架研究与应用[D];长沙理工大学;2011年
3 祝雄锋;数据库集群中间件MySQL Proxy研究与分析[D];武汉理工大学;2011年
本文编号：2632736
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2632736.html
