支持多源大数据的机器学习云平台

发布时间：2020-08-27 14:56

【摘要】：随着机器学习的不断发展,众多机器学习框架源源不断出现降低了计算机从业人员的学习成本,能够帮助完成许多数据分析的任务。但是,机器学习依然需要系统的专业技能,搭建一个机器学习系统存在诸多困难:1)数据量大且结构复杂,处理困难;2)数据源存在各种不同的行业背景,因此各行业与计算机行业存在很大的专业差异;3)机器学习的模型和模型超级参数没有科学化方法进行选择和调节,完全凭借人工调试。针对以上的三个问题,我们搭建了支持多源大数据的云平台,云平台能够提供简单的接口和应用以能够消除计算机从业人员与其他行业数据专家的技术屏障,既可以帮助非计算机从业人员也能够轻松进行数据分析,同时也可以帮助专业的从业人员预先全面了解数据并自动选择模型和调节超参。平台提供了一站式对大数据的处理和分析,其中包括了 1)利用分布式数据处理引擎,通过对不同数据源结构的分析,以及对目前机器学习领域主流的数据处理方法的抽象,自动化了多源大数据的切片和处理,从而达到快速处理结构复杂的大数据问题;2)通过对对目前机器学习领域的各类机器学习框架的一体化集成,并综合考虑各类框架优秀的设计思想,将其进行多层次、多语言、多模块化的抽象,使得大大降低各类框架的运用门槛的同时不丧失其强大的算法处理能力,从而大大简化机器学习工具以方便非计算机人员使用它们;3)设计并实现了自动化监督性机器学习算法,通过综合遗传算法进行模型自动化选择以及贝叶斯优化器进行超参解空间快速搜索,大大降低整个机器学习流程空间搜索的时间复杂度,而遗传算法和贝叶斯优化器的配合能够进一步保证搜索的独立性,从而能够保证局部最优解和全局最优解的平衡。
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP181
【图文】：

构成图,分布式系统,控制单元,构成图

一个分布式系统还能被描述为下列公式构成（来自Ｅｎｓｌｏｗ的模型）［７］：逡逑分布式系统＝分布式硬件＋分布式控制＋分布式数据逡逑在图２－１中展示了邋Ｅｎｓｌｏｗ关于分布式系统的三维模型，其中的每个坐标代逡逑表了关于分布式系统不同的维度（硬件，控制和数据），而关于这三个维度还有下逡逑列详细的说明：逡逑分布式系统允许范围逡逑ｊｆ邋Ｍ＇邋？邋￣邋Ｙｉ＂＂邋￣邋｜逦？邋１－１－１－邋ｕ邋１逦■逡逑—逦逡逑Ｈ５逦Ｎ邋１逦［：丨：逡逑Ｈ４逦Ｊ逦丨＂：逡逑Ｈ３逦？？？逡逑Ｈ２逦ｙ逡逑Ｈ１逦Ｆ逡逑逦ｌ邋ｉ邋Ｉ邋Ｉ邋ｌ逦Ｄ６逡逑Ｃ１邋Ｃ２邋Ｃ３邋Ｃ４逦Ｃ５邋Ｃ６邋０１逡逑图２－１分布式系统构成图逡逑硬件（Ｈａｒｄｗａｒｅ，简称Ｈ）包括以下几种类别：ＨＩ．拥有一个控制单元的单逡逑ＣＰＵ机器；Ｈ２．拥有一个控制单元的拥有多个ＡＬＵ邋（逻辑计算单元）的单ＣＰＵ机逡逑器；Ｈ３．拥有个浮点运算处理器的单ＣＰＵ机器；Ｈ４．多处理器多ＣＰＵ但只拥逡逑５逡逑

结构图,结构图,分布式文件系统,独立计算机

？逦松耦合：即系统与系统，服务与服务之间都应该互相独立，这样的好处逡逑是能够尽量减少模块与模块的关系。逡逑图２－２展示了邋ＳＯＡ的组成成分，从图中可以看出，ＳＯＡ主要分为了逡逑Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ邋（基础构建），Ｐｒｏｃｅｓｓｅｓ邋（程序集）和邋Ａｒｃｈｉｔｅｃｔｕｒｅ邋（架构），其中程逡逑序集又分为元程序和主控这两个部分。逡逑ｒ邋ｎ邋１逦１邋ｒ邋ｎ逡逑Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ逦Ｐｒｏｃｅｓｓｅｓ逦Ａｒｃｈｉｔｅｃｔｕｒｅ逡逑ｌ逦ｌ逦ｉ逦ｉ逡逑Ｍｅｔａｐｒｏｃｅｓｓ邋Ｇｏｖｅｒｎａｎｃｅ逡逑ｉ逦ｊ逦ｉ逦ｉ逡逑图２－２邋ＳＯＡ结构图逡逑２．３分布式文件系统逡逑分布式文件系统（Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｒｌｅ邋Ｓｙｓｔｅｍ，ＤＦＳ）是典型的邋Ｃ／Ｓ（Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ，逡逑即用户端／服务器）应用，其允许客户端对数据进行增删查改。关于分布式系统内逡逑部其实是将统一的数据分别存储在分布式集群（多台独立计算机）中。分布式文逡逑件系统与本地文件系统相比，拥有了其无法具备的数据备份、数据安全、存储量逡逑７逡逑

架构图,分布式文件系统,架构

士学位论文逦第２章相关理论和技术介众多优点。逡逑分布式存储，与传统网格存储比起来，其分散扁平的架构模式，便向的扩展，也可以切分存储，提升数据访问量等。逡逑２－３所示，对于常见的ＤＦＳ架构，包含以下几个部分：逡逑客户端（Ｃｌｉｅｎｔ）：邋ＤＦＳ的适用对象，可以对数据进行增删查改的动跟踪器（Ｔｒａｃｋｅｒ）：邋Ｔｒａｃｋｅｒ是ＤＦＳ的协调者，负责管理所有的ｓｔｏｒａｓｅｒｖｅｒ和ｇｒｏｕｐ，对数据的元信息（目录结构、节点信息、冗余信息权限等）进行维护，负责与Ｃｌｉｅｎｔ和Ｓｔｏｒａｇｅ邋Ｓｅｒｖｅｒ进行元数据的操交互。逡逑存储服务器（Ｓｔｏｒａｇｅ邋Ｓｅｒｖｅｒ）：真正存储数据的节点。逡逑ｃ，，ｅｒｒｔ

【相似文献】