分布式下二手汽车关注程度的分析与预测

发布时间：2024-12-22 05:54

　　数据挖掘系统,是人工智能研究领域的热点问题之一。网站数据挖掘,作为数据挖掘的一个具体应用,在商业智能中具有非常广泛的应用,以人工智能和大数据技术为基础,能够对以往积累下来的数据加以分析,在转化为能够帮助企业提升企业运营和管理方面知识的同时,也能够挖掘潜在客户以及作预测未来发展方向等。简单来说,在商业智能领域中,网站数据挖掘就是一种能够为企业在生产和管理、运营和销售作出调整和优化决策的有效手段,其意义在于能够为企业带来更多的经济价值以及提高企业竞争力。在大型网站中存在着大量的网页,同时网页中存在着大量复杂的数据,因此获取这些数据并且存储下来是数据挖掘的关键。本文利用大数据环境下的分布式爬虫框架Scrapy-Redis对二手汽车网站的数据进行爬取,将数据存储到广泛应用的分布式系统Hadoop的小型集群中,然后对数据进行特定预处理操作并对数据进行分析,最后采用K-Means+RBF神经网络对用户关注程度进行预测。车辆的关注程度,可以反映车辆在当前二手汽车市场中的受欢迎或关注的程度,企业可以根据车辆的关注程度,进行线上网站运营做优化策略调整,提高网站的受欢迎性。为了更有效的、直观地进行车辆关注程...

【文章页数】：58 页

【学位级别】：硕士

【部分图文】：

图2-1Scrapy单爬取框架工作流程图

图2-1Scrapy单爬取框架工作流程图Fig2-1SingleScrapyFrameworkDiagram2.3.1Scrapy-Redis分布式网页爬虫框架Redis（RemoteDictionaryServer）是一套开源的键值对[key-value....

图2-2Scrapy-Redis集群原理图

图2-2Scrapy-Redis集群原理图Fig2-2Scrapy-RedisClustersDiagrampy-Redis的优点：由于Redis的容错机制和内存-硬盘固化机制，Master会让Slave将这些上，即使当单个Slave掉线或者抛锚时与....

图2-3Scrapy-Redis分布式爬取框架工作原理图

图2-3Scrapy-Redis分布式爬取框架工作原理图Fig2-3Scrapy-RedisFrameworkWorkingDiagrampy-Redis分布式爬取框架工作原理图如图2-3所示。Redis数据库中包含所有的网页地址，这些网页地址就是一系列由....

图2-4网页部分内容Fig2-4PartialWebContent

动态服务器页面ASP.Net（ActiveServerPage）开发的网页格式“.asp”以及支持动态页的Java服务器页面本JSP（JavaServerPages）的“.jsp”等后缀。尽管不同类型网具有不同的后缀名，但是这些网页都是以HTML规范进行编写，....

本文编号：4019543