融合多源异构制造数据的产品销售预测和投放策略研究
发布时间:2021-02-26 00:39
在“互联网+”的大背景下,大型制造企业通过PC端、移动端和线下等多渠道拓展业务所产生的数据量已从TB级别达到了 PB级别,业务类型和制造数据的繁荣为制造企业经营决策带来新的机遇的同时,也对传统的数据挖掘方法提出了新的挑战。面对全域市场范围内800多万客户的订单数据和销售数据所造成的数据空间冗余和构成信息复杂的多源异构问题,需要研究如何有效整合大量的、不统一的异构数据源,并解决产品投放过程中社会库存积压大和产品失衡发展的问题,为新形式下产品的精准投放提供决策依据。本文针对制造企业在产品投放经营过程中因多源异构的订销数据和业务流程映射关系不清晰所造成的经营决策不准确的问题,围绕多源异构数据的采集、处理和融合、产品投放过程中的销售预测和试点客户推荐、产品投放策略模型等数据挖掘中的关键问题展开研究,主要工作和贡献如下:(1)本文构建了多源异构环境下客户信息采集处理与基于用户偏好融合方法。通过各区域巡点专员经线下走访、采集、整合后上报的方式和互联网请求的方式完成数据采集工作,并导入到分布式多源异构数据库中。针对多源异构数据表述不统一、字段多冗余和数值多指标等问题,提出通过XML技术和建立数据属性...
【文章来源】:浙江理工大学浙江省
【文章页数】:74 页
【学位级别】:硕士
【部分图文】:
图1.1主要研宄内容框架??(1)基于多源异构数据环境的海量客户信息采集和处理:通过各区域巡点专员经线下??走访、采集、整合后上报的方式,和互联网请求各区域内业务系统的方式完成全域范围内??
透明和无差异。因此制造企业迫切需要把研宄??重心放在多源异构数据的融合,通过建立统一的异构数据转换标准和自动转换机制,消除??异构数据间的语义鸿沟和维度缺失,实现多源异构数据统一化、标准化。??本章节针对多源异构数据环境下的客户信息采集和处理进行分析介绍,为满足制造企??业对多源异构数据的集成、存储和管理提出解决方法,构建以大数据为中心的全域数据智??能一体化平台,实现制造数据全流程运转监控,确保处理数据的及时性以提高制造企业经??营决策的准确性[42]。全域数据智能?体化平台框架如图2.1所示,典中以实现数据快速盘??i句、及吋响应为丨丨标,利川数据驱动控制信总采集到智能决策各环V/,对数裾迸行分类、??分流处理后进行集成、介:储和加工,实现制造企业对全流程制造数椐的实时加丨:U处观,??同吋为后文针对制造产品所做的钔仿预测、客户推荐及精准投放研究提供数据支挖。??f押能决%?!?U购、'丨产、销售…)(1?测、推荐、投放…)I??:?^???咖伙迚作询技木?(7?分布式名源w构玫船彳.:?)??二::::一二::::::………一——一二??丨丨规梧(1本]派生]衍笙「预瞥:??丨:属性指标指标关系体系丨??J????/?V?/?\??V.?v?!?J,1?'??多源异构据?丨, ̄ ̄ ̄7?0?flSil??科学指标系统构建?1数据副!合 ̄);??与w能融合技术?|((?^)?(555?(供土商)(业^程])??i?|供应商、分销商、零售、消费者??、???????*——■??---------??(f数成)冼??ii允构化数椐?1':??PA程]?‘盔以―KC?
[接口和美团外卖OpenAPl接I?I提供的POI信息和零售??类信息等。??2.2.3多源数据导入??大型制造企业在建设大数据平台的过程中,由于多源数据间的差异比较大,?般都是??将直接经过业务系统加工后的数据才存储到数据库中,而想其他文件类型的数据一般都是??在文件服务器的磁盘上进行存储。为了能够直接获取到这些难以直接在数据库中存储的数??据,本文在导入不同数据源和数据结构的数据时借助不同的数据导入工具,将多源数据集??中到数据仓库中进行统一管理,为后续数据处理做准备。??如图2.2所示,对物流数据、监控数据和气象数据等数据导入,主要通过RocketMQ或??Kafka以消息队列的形式进行分发处理,以满足数椐实时忭耍求;对客户数据、销售数据??和iP丫l数据等实吋性要求不高的关系型数据导入,主要M过Sqoop成ETL/等工具直接导??入到丨ladoop的HDFS中;对文捫数据、视频数椐和位置数据等女全性要求较A的数据导??入,主要通过FTP等文件传输协议传输的方式导入到Hive中;对应用数据和日志数据等??文木类型的数据导入,主要通过Flume等工具导入到HBase中。??数据仓库?HDFS?Hive?Hbaso??上:?<>....?:…???!?f?*—*?N?/■?f^f??N?J??导入工具?i?Kafka?Sqoop或ETL?I'TP?Flume??非::二今二:::::〇二:::寺:::_^:::作??!?物流数据?客户数据?文档数据??各数据源i?监控数据?销售数据?视频数据??气象数据?订单数据?位置数据??il——<>——丄—???
本文编号:3051815
【文章来源】:浙江理工大学浙江省
【文章页数】:74 页
【学位级别】:硕士
【部分图文】:
图1.1主要研宄内容框架??(1)基于多源异构数据环境的海量客户信息采集和处理:通过各区域巡点专员经线下??走访、采集、整合后上报的方式,和互联网请求各区域内业务系统的方式完成全域范围内??
透明和无差异。因此制造企业迫切需要把研宄??重心放在多源异构数据的融合,通过建立统一的异构数据转换标准和自动转换机制,消除??异构数据间的语义鸿沟和维度缺失,实现多源异构数据统一化、标准化。??本章节针对多源异构数据环境下的客户信息采集和处理进行分析介绍,为满足制造企??业对多源异构数据的集成、存储和管理提出解决方法,构建以大数据为中心的全域数据智??能一体化平台,实现制造数据全流程运转监控,确保处理数据的及时性以提高制造企业经??营决策的准确性[42]。全域数据智能?体化平台框架如图2.1所示,典中以实现数据快速盘??i句、及吋响应为丨丨标,利川数据驱动控制信总采集到智能决策各环V/,对数裾迸行分类、??分流处理后进行集成、介:储和加工,实现制造企业对全流程制造数椐的实时加丨:U处观,??同吋为后文针对制造产品所做的钔仿预测、客户推荐及精准投放研究提供数据支挖。??f押能决%?!?U购、'丨产、销售…)(1?测、推荐、投放…)I??:?^???咖伙迚作询技木?(7?分布式名源w构玫船彳.:?)??二::::一二::::::………一——一二??丨丨规梧(1本]派生]衍笙「预瞥:??丨:属性指标指标关系体系丨??J????/?V?/?\??V.?v?!?J,1?'??多源异构据?丨, ̄ ̄ ̄7?0?flSil??科学指标系统构建?1数据副!合 ̄);??与w能融合技术?|((?^)?(555?(供土商)(业^程])??i?|供应商、分销商、零售、消费者??、???????*——■??---------??(f数成)冼??ii允构化数椐?1':??PA程]?‘盔以―KC?
[接口和美团外卖OpenAPl接I?I提供的POI信息和零售??类信息等。??2.2.3多源数据导入??大型制造企业在建设大数据平台的过程中,由于多源数据间的差异比较大,?般都是??将直接经过业务系统加工后的数据才存储到数据库中,而想其他文件类型的数据一般都是??在文件服务器的磁盘上进行存储。为了能够直接获取到这些难以直接在数据库中存储的数??据,本文在导入不同数据源和数据结构的数据时借助不同的数据导入工具,将多源数据集??中到数据仓库中进行统一管理,为后续数据处理做准备。??如图2.2所示,对物流数据、监控数据和气象数据等数据导入,主要通过RocketMQ或??Kafka以消息队列的形式进行分发处理,以满足数椐实时忭耍求;对客户数据、销售数据??和iP丫l数据等实吋性要求不高的关系型数据导入,主要M过Sqoop成ETL/等工具直接导??入到丨ladoop的HDFS中;对文捫数据、视频数椐和位置数据等女全性要求较A的数据导??入,主要通过FTP等文件传输协议传输的方式导入到Hive中;对应用数据和日志数据等??文木类型的数据导入,主要通过Flume等工具导入到HBase中。??数据仓库?HDFS?Hive?Hbaso??上:?<>....?:…???!?f?*—*?N?/■?f^f??N?J??导入工具?i?Kafka?Sqoop或ETL?I'TP?Flume??非::二今二:::::〇二:::寺:::_^:::作??!?物流数据?客户数据?文档数据??各数据源i?监控数据?销售数据?视频数据??气象数据?订单数据?位置数据??il——<>——丄—???
本文编号:3051815
本文链接:https://www.wllwen.com/guanlilunwen/lindaojc/3051815.html