面向移动商务的数据挖掘方法及应用研究

发布时间：2017-05-16 00:06

  本文关键词：面向移动商务的数据挖掘方法及应用研究，由笔耕文化传播整理发布。

【摘要】：近年来,随着移动互联网相关技术的高速发展,各种移动应用和服务在规模上呈现出前所未有的增长态势。种类繁多的移动应用和服务覆盖了诸如生活娱乐、在线社交、导航定位等各种功能层面,从而满足了移动用户在日常生活中各式各样的功能需求。与此同时,这些移动应用和服务也产生了海量的用户交互记录与历史商务数据,为研究者深入探索移动商务环境下的潜在价值、开发全新的移动商务应用和服务带来了全新的机遇和挑战。事实上,针对移动商务智能的研究方兴未艾,近年来在国际学术界和产业界均受到广泛的重视。基于以上背景,本文开展了针对移动商务的数据挖掘方法的一系列探索性研究。具体地,结合来自于智能移动应用程序(简称移动App)的新型商务数据,从用户理解、应用理解、应用孵化等三个层面开展了研究工作。基于这三个层面,分别提出了情境感知的移动用户个性化偏好挖掘方法、基于扩展信息的移动App分类方法、面向移动App的排名欺诈检测方法、面向移动App的流行度建模方法、安全隐私感知的移动App推荐方法等探索性工作。具体而言,本文的主要研究贡献总结如下： 第一,通过分析来自于用户移动设备的丰富情境日志,提出了一种情境感知的移动用户个性化偏好挖掘方法,从而帮助实现基于情境感知的个性化移动推荐系统。针对情境日志缺乏显式评分、记录稀疏、特征复杂等挑战,设计了一种全新的基于多用户数据的偏好挖掘框架。在此框架下,首先通过对多用户情境数据的分析来挖掘移动用户的公共偏好。然后,将单个用户的个性化偏好表示为这些公共偏好上的概率分布。特别地,根据情境数据建模的需要,提出了两种不同的情境建模独立性假设,并且分别根据这两种假设设计了不同的方法来挖掘移动用户的个性化偏好。具体来说,当情境数据被认为是相互条件独立的,采用概率主题模型对情境数据和用户行为进行建模；如果情境数据被认为是相互依赖的,则采用行为模式挖掘算法和贝叶斯非负矩阵分解的办法来进行建模。最后,在一个真实世界的数据集上进行了实验,实验结果表明本文提出的方法相对于其他基准方法能够更好地为移动用户提供基于情境感知的个性化推荐。 第二,通过扩展来自于Web和情境日志的辅助信息,提出了一种自动化的移动App分类方法,从而实现移动用户的行为理解以及移动App的管理需求。针对移动App缺乏必要的上下文信息训练分类器这一难题,提出了一个全新的分类框架。该框架可以利用外部的辅助信息扩充移动App本身稀少的上下文信息,从而使得我们能够对移动App进行有效的分类。具体来说,首先利用Web搜索引擎为移动App扩充必要的文本信息,并且基于此提出了多个有效的分类特征。其次,基于近年来在情境信息领域的研究成果,提出使用真实世界的情境日志来为移动App扩充上下文信息,并设计了多个有效的基于情境感知的分类特征。随后,将提取的各种特征整合到经典的最大熵分类模型中来训练一个高效的移动App分类器。最后,在一个真实的移动App数据集上测试了提出的分类方法,实验结果表明本文提出的方法相比其它基准方法能够更加有效地对移动App进行分类。 第三,通过研究来自于在线移动App商店的长期商务数据,提出了一种面向移动App的排名欺诈检测方法,从而发现不良App开发商的恶意刷榜行为。具体而言,首先定义了面向移动App的排名欺诈问题,然后介绍和分析了解决这一问题所面临的诸多技术挑战,例如欺诈时间定位、欺诈自动化检测、欺诈证据提取等等。基于上述挑战,开发了一个全自动化的移动App排名欺诈检测系统。首先通过挖掘移动App在排行榜上的活跃周期来定位排名欺诈可能出现的时间段。然后通过对各个App在历史中的排名记录和用户评分、评论记录进行分析,提取出了三类共七种欺诈证据。进一步,提出了一种全新的非监督证据整合方法来实现最后的排名欺诈检测。最后,使用Apple Appstore中超过两年的App排行榜数据进行实验,结果证明本文提出的方法能够有效地检测出移动App排名欺诈现象。 第四,通过整合来自于移动App的多种异构流行度信息,提出了一种面向移动App的流行度建模方法,从而帮助实现多种移动智能服务。目前基于移动App流行度的相关研究十分离散,主要分散在移动推荐系统、移动App异常检测等领域,缺乏一个综合的模型对相关信息和问题进行整合。针对这一挑战,提出了一种基于隐马尔科夫模型的扩展模型对App的排名、用户评分、用户评论等三种重要流行度信息进行综合建模。同时,提出了一种基于二部图聚类的模型参数估计方法,用以实现高效的模型训练。特别地,基于所提出的模型,展示了多种潜在的移动智能服务,比如基于趋势的移动App推荐等等。最后,在两个采集于Apple Appsotre的数据集中进行了丰富的实验,实验结果清晰地验证了本文所提出建模方法的有效性。 最后,通过挖掘来自于移动App的数据访问权限和流行度信息,提出了一种安全隐私感知的移动App推荐方法,从而满足移动用户在安全隐私保护方面的需求,并促进移动App产业的健康发展。事实上,现有的移动App推荐系统仅仅考虑评分、下载量等流行度信息,而不考虑其潜在的安全隐私风险,因此很难满足移动用户对于安全隐私保护的需求。针对这一问题,设计了一种全新的移动App推荐系统,用来为用户推荐既流行又安全的移动App。首先,提出了一个扩展性良好的移动App安全隐私风险评估方法,这一方法可以自由整合各种关于安全隐私风险的先验信息,并且不需要任何的显式函数定义。紧接着,根据经济学中的投资组合理论,提出了一种全新的优化方法来实现移动App推荐时在流行度与用户安全偏好上的折中。特别地,进一步设计了一个新颖的数据存储结构App哈希树,用来实现海量移动App在不同类别和安全级别下的快速推荐和管理。最后,在一个采集自Google Play的大规模数据集上进行了实验,实验结果充分地验证了本文所提出的移动App安全风险评估方法,以及推荐算法的有效性。
【关键词】：移动用户 移动商务 移动App 情境感知 推荐系统
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP311.13
【目录】：

• 摘要5-8
• ABSTRACT8-11
• 目录11-16
• 表格16-18
• 插图18-22
• 算法22-23
• 第一章 绪论23-35
• 1.1 研究背景和意义23-26
• 1.2 国内外研究现状26-28
• 1.3 主要研究工作28-31
• 1.4 论文的组织结构31-35
• 第二章 情境感知的移动用户个性化偏好挖掘方法35-65
• 2.1 引言35-37
• 2.2 相关工作37-39
• 2.3 预备知识和方法概览39-41
• 2.4 基于情境数据条件独立性假设的移动用户偏好挖掘方法41-46
• 2.4.1 基于LDA模型的用户偏好学习43-44
• 2.4.2 基于LDAC模型的用户偏好学习44-45
• 2.4.3 公共偏好数目估计方法45-46
• 2.5 基于情境数据依赖性假设的移动用户偏好挖掘方法46-51
• 2.5.1 活动相关情境的挖掘方法47-48
• 2.5.2 基于矩阵分解方法的用户偏好学习48-50
• 2.5.3 公共偏好数目估计方法50-51
• 2.6 实验结果分析51-62
• 2.6.1 实验数据集51-53
• 2.6.2 实验用基准方法53-54
• 2.6.3 方法评价指标54-55
• 2.6.4 实验结果总体分析55-59
• 2.6.5 鲁棒性测试59
• 2.6.6 案例分析59-62
• 2.7 本章小结62-63
• 2.8 附录：CIAP-LDAC方法的Gibbs采样推导63-65
• 第三章 基于扩展信息的移动App分类方法65-91
• 3.1 引言65-67
• 3.2 相关工作67-68
• 3.3 预备知识和方法概览68-71
• 3.4 构建移动App分类器的技术细节71-79
• 3.4.1 基于Web搜索引擎的文本特征提取71-74
• 3.4.2 基于用户情境日志的辅助特征提取74-78
• 3.4.3 移动App分类器的训练78-79
• 3.5 实验结果分析79-88
• 3.5.1 实验数据及设置79-81
• 3.5.2 实验用基准方法81-82
• 3.5.3 方法评价指标82
• 3.5.4 实验结果总体分析82-85
• 3.5.5 分类模型的效率分析85
• 3.5.6 应用案例：基于App使用的用户分组85-88
• 3.6 本章小结88-91
• 第四章 面向移动App的排名欺诈检测方法91-121
• 4.1 引言91-93
• 4.2 相关工作93-94
• 4.3 移动App的活跃周期识别方法94-96
• 4.3.1 预备知识94-95
• 4.3.2 活跃周期挖掘算法95-96
• 4.4 排名欺诈检测的证据提取方法96-109
• 4.4.1 基于排名的欺诈证据96-102
• 4.4.2 基于评分的欺诈证据102-104
• 4.4.3 基于评论的欺诈证据104-106
• 4.4.4 欺诈证据整合106-109
• 4.5 方法讨论109-110
• 4.6 实验结果分析110-120
• 4.6.1 实验数据110-111
• 4.6.2 挖掘App的活跃周期111-112
• 4.6.3 基于人工标注的评价方法112-116
• 4.6.4 案例学习：评价App的可信度116-118
• 4.6.5 证据整合方法的鲁棒性讨论118-120
• 4.7 本章小结120-121
• 第五章 面向移动App的流行度建模方法121-141
• 5.1 引言121-122
• 5.2 相关工作122-123
• 5.3 方法概览123-125
• 5.3.1 App流行度信息123-125
• 5.3.2 问题描述125
• 5.4 面向App的流行度建模方法详解125-130
• 5.4.1 PHMM的模型训练126-128
• 5.4.2 流行度状态数目估计128-130
• 5.5 PHMM的模型应用130-133
• 5.6 实验结果分析133-139
• 5.6.1 PHMM的模型训练效果133-134
• 5.6.2 PHMM模型的有效性分析134-138
• 5.6.3 PHMM的鲁棒性测试138-139
• 5.7 本章小结139-141
• 第六章 安全隐私感知的移动App推荐方法141-165
• 6.1 引言141-143
• 6.2 相关工作143-144
• 6.3 安全隐私感知的移动App推荐系统概览144-148
• 6.3.1 预备知识144-147
• 6.3.2 推荐系统框架概览147-148
• 6.4 学习移动App的安全风险值148-151
• 6.5 移动App推荐算法151-155
• 6.6 实验结果分析155-163
• 6.6.1 实验数据集155-157
• 6.6.2 移动App安全级别划分157-158
• 6.6.3 移动App的安全风险排序158-162
• 6.6.4 移动App推荐性能分析162-163
• 6.7 本章小结163-165
• 第七章 总结与展望165-169
• 7.1 工作总结165-167
• 7.2 未来研究展望167-169
• 参考文献169-185
• 致谢185-187
• 在读期间发表的学术论文与取得的研究成果187-193
• 已发表/接收期刊论文187-188
• 已发表/接收会议论文188-191
• 已申请发明专利191
• 主要参与的科研项目情况191-192
• 攻读学位期间获得的学术奖励192-193

【共引文献】

中国期刊全文数据库 前2条

1 茹立云;李智超;马少平;;搜索引擎索引网页集合选取方法研究[J];计算机研究与发展;2014年10期

2 李玉坤;任标;赵喜燕;刘里;肖迎元;;个人数据管理技术研究[J];计算机科学与探索;2014年11期

中国硕士学位论文全文数据库 前4条

1 杜亚娟;基于条件随机场的多引擎云安全机制研究[D];湘潭大学;2012年

2 胡桑;基于混合模型的阿拉伯语命名实体识别[D];哈尔滨工业大学;2013年

3 杨凡;基于免疫克隆选择的垃圾网页检测技术研究[D];西南交通大学;2014年

4 陈贺昌;基于网络结构多样性分析的新型网页排名算法[D];吉林大学;2014年

  本文关键词：面向移动商务的数据挖掘方法及应用研究，，由笔耕文化传播整理发布。

本文编号：369170