基于位置聚类和张量分解的Web服务QoS预测研究
发布时间：2020-08-02 18:11
【摘要】：越来越多的开发者已经倾向于购买各种Web服务搭建他们的应用平台。而面对市面上相关产品众多,功能高度同质化的现状,服务提供商有必要通过技术手段帮助用户确定其最合适的Web服务。因此,服务推荐技术应运而生,成为解决以上问题的有效手段之一。然而,作为服务推荐依据的QoS数据常含有缺失部分,QoS数据缺失过多会严重影响服务推荐的质量,因而数据科学家有必要在进行推荐之前对QoS数据中的缺失值进行预测并填充。本文针对服务推荐中的QoS缺失值预测问题,采用张量方法完成了以下三个方面的工作:首先,针对传统张量模型不重视QoS数据位置信息的问题,本文将蕴含着位置信息的QoS数据进行聚类,将地理位置相近的服务聚合在一起,从而形成数个小型的QoS张量,以便于使用张量模型对它们分别进行缺失值预测,从而提高预测的准确度。其次,本文对QoS缺失值预测的求解方式进行改进,一方面考虑最小化缺失QoS张量中已知部分和预测结果中相应位置的误差;另一方面受到图像降噪问题的启发,将插补过后的QoS张量视作含有噪声的数据,然后对其进行去噪操作。本文随后在对QoS信息进行位置聚类的基础上,将这两种求解思路和改进后的高阶正交迭代算法结合起来,提出了 CHOOI1和CHOOI2两个QoS缺失值预测模型。在公开数据集WSDREAM dataset 2上验证了它们的可行性以及预测结果的准确性。为了进一步提高模型预测准确度,本文还将CHOOI2模型和传统张量模型中表现最为优秀的NTF模型相结合,提出了 QTF模型。实验证明,QTF模型在QoS缺失值预测任务上表现出了分别优于前二者的预测准确度和运行时间。第三,针对高阶正交迭代占用内存空间大、迭代慢的特点,本文从迭代过程出发,进一步完成了 QTF模型的并行化工作,并在Apache Spark分布式计算框架下实现,本文针对QTF的并行化工作主要集中在其CHOOI2模型部分。从实验结果来看,并行版本的算法相较于串行版本而言在运行时间上有一定程度的改善,而且有更大的潜力处理大规模数据集上的QoS预测任务。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09
【图文】：
和数学和物理学中的张量不尽相同，本文所指的张量（ｔｅｎｓｏｒ）是矩阵的的高逡逑维度扩展，是一个高维度的数组。张量的秩（ｏｒｄｅｒ）指的是张量的维度数，也叫做逡逑路（ｗａｙ）或者模（ｍｏｄｅ）。阶数为１的张量称做向量（Ｖｅｃｔｏｒ）、阶数为２的张量逡逑称作矩阵（ｍａｔｒｉｘ）、阶数为３或者更高的张量才正式被称作张量。在Ｋｏｌｄａ等人逡逑［｜６］的文献中，向量用小写加粗字母表示，例如：ａ；矩阵用大写加粗字母表示，例逡逑如：ｙ４；张量用加粗的大写的欧拉手与体体字母表不，例如：％；向量的兀素用ａ，．逡逑表示，矩阵的元素用Ａ，ｙ表示，张量的元素用Ｘ，＃表示。逡逑当一个张量的某一个维度所有的坐标都被固定之后，就会形成张量的子集，对逡逑于矩阵来说，矩阵的子集是矩阵的行和列，用４和心来表示，对于张量来说，张量逡逑的子集是纤维（ｆｉｂｅｒｓ）和切片（ｓｌｉｃｅｓ）。纤维是矩阵的行和列的高维度拓展，它是逡逑把张量的索引固定至仅有一个维度自由变化之后被定义出来的，矩阵的行是模态＿逡逑１上的纤维，矩阵的列是模态－２上的纤维，三阶张量的纤维分别叫做行纤维、列纤逡逑维、管（ｔｕｂｅ）纤维，它们是一个向量，记作尤＃、和巧：。切片是矩阵的二阶逡逑部分，它是把张量的索引固定至仅有两个维度自由变化之后被定义的，对于三阶逡逑张量龙，它的三个切片分别是水平切片，侧切片，前切片，分别表示为：Ａ：：、易：：和逡逑Ｘｋ逡逑
相关领域研究者通常使用因子矩阵来描述组成秩一张量的向量，对来说，矩逡逑阵４邋＝邋［ｆｌｌ，因子矩阵Ｃ以此类推，这样研宄人员就可以方便地描述张量逡逑地切片，或者对因子矩阵进行求导等操作。ＣＰ分解的示意图如图２－２所示。逡逑／逦／逡逑＾逦ｎ１－逦－邋１邋＋逦ｎ１逦１邋＋邋……逡逑＿＿＾逦ｙ逦ｌ逡逑图２－２三阶张量ＣＰ分解的示意图逡逑Ｆｉｇｕｒｅ邋２－２邋Ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ＣＰ邋ｄｅｃｏｍｐｓｉｔｉｏｎ邋ｏｆ邋３－ｏｒｄｅｒ邋ｔｅｎｓｏｒ逡逑１０逡逑
Ｃ中成分的数量，也就是矩阵的列数，如果尸、０、／？的数量比／、？／、欠要小，那么逡逑l捑涂梢钥醋髁囊桓鲅顾醢姹尽Ｄ承┣榭鱿拢纸獍姹镜恼帕勘仍吹恼帕坑涤绣义细〉拇娲⒖占洹＃裕酰悖耄澹蚍纸馊缤迹玻乘尽ｅ邋五义希撸撸撸撸撸脲危慑澹郏桑皱义贤迹玻橙渍帕浚裕酰悖耄澹蚍纸獾氖疽馔煎义希保卞义
本文编号：2778878
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09
【图文】：
和数学和物理学中的张量不尽相同，本文所指的张量（ｔｅｎｓｏｒ）是矩阵的的高逡逑维度扩展，是一个高维度的数组。张量的秩（ｏｒｄｅｒ）指的是张量的维度数，也叫做逡逑路（ｗａｙ）或者模（ｍｏｄｅ）。阶数为１的张量称做向量（Ｖｅｃｔｏｒ）、阶数为２的张量逡逑称作矩阵（ｍａｔｒｉｘ）、阶数为３或者更高的张量才正式被称作张量。在Ｋｏｌｄａ等人逡逑［｜６］的文献中，向量用小写加粗字母表示，例如：ａ；矩阵用大写加粗字母表示，例逡逑如：ｙ４；张量用加粗的大写的欧拉手与体体字母表不，例如：％；向量的兀素用ａ，．逡逑表示，矩阵的元素用Ａ，ｙ表示，张量的元素用Ｘ，＃表示。逡逑当一个张量的某一个维度所有的坐标都被固定之后，就会形成张量的子集，对逡逑于矩阵来说，矩阵的子集是矩阵的行和列，用４和心来表示，对于张量来说，张量逡逑的子集是纤维（ｆｉｂｅｒｓ）和切片（ｓｌｉｃｅｓ）。纤维是矩阵的行和列的高维度拓展，它是逡逑把张量的索引固定至仅有一个维度自由变化之后被定义出来的，矩阵的行是模态＿逡逑１上的纤维，矩阵的列是模态－２上的纤维，三阶张量的纤维分别叫做行纤维、列纤逡逑维、管（ｔｕｂｅ）纤维，它们是一个向量，记作尤＃、和巧：。切片是矩阵的二阶逡逑部分，它是把张量的索引固定至仅有两个维度自由变化之后被定义的，对于三阶逡逑张量龙，它的三个切片分别是水平切片，侧切片，前切片，分别表示为：Ａ：：、易：：和逡逑Ｘｋ逡逑
相关领域研究者通常使用因子矩阵来描述组成秩一张量的向量，对来说，矩逡逑阵４邋＝邋［ｆｌｌ，因子矩阵Ｃ以此类推，这样研宄人员就可以方便地描述张量逡逑地切片，或者对因子矩阵进行求导等操作。ＣＰ分解的示意图如图２－２所示。逡逑／逦／逡逑＾逦ｎ１－逦－邋１邋＋逦ｎ１逦１邋＋邋……逡逑＿＿＾逦ｙ逦ｌ逡逑图２－２三阶张量ＣＰ分解的示意图逡逑Ｆｉｇｕｒｅ邋２－２邋Ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ＣＰ邋ｄｅｃｏｍｐｓｉｔｉｏｎ邋ｏｆ邋３－ｏｒｄｅｒ邋ｔｅｎｓｏｒ逡逑１０逡逑
Ｃ中成分的数量，也就是矩阵的列数，如果尸、０、／？的数量比／、？／、欠要小，那么逡逑l捑涂梢钥醋髁囊桓鲅顾醢姹尽Ｄ承┣榭鱿拢纸獍姹镜恼帕勘仍吹恼帕坑涤绣义细〉拇娲⒖占洹＃裕酰悖耄澹蚍纸馊缤迹玻乘尽ｅ邋五义希撸撸撸撸撸脲危慑澹郏桑皱义贤迹玻橙渍帕浚裕酰悖耄澹蚍纸獾氖疽馔煎义希保卞义
本文编号：2778878
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/2778878.html
