全球铁矿石贸易与航运分析系统设计与实现

发布时间：2020-04-12 04:42

【摘要】：铁矿石贸易在全球贸易中有着举足轻重的影响,每年全球贸易量15亿公吨,贸易额1200亿美元以上。铁矿石贸易量是世界经济的晴雨表之一。铁矿石贸易量通常是海关统计发布的事后统计值。然而铁矿石贸易量的事先预测,对贸易商、期货交易参与者、贷款企业有着更重要的意义。本文通过船舶位置数据对铁矿石做贸易预测分析,能够准确预测未来一段时间内铁矿石的到港量。本文主要通过以下过程完成对铁矿石贸易量的预测:1.设计了HDDBSCAN(Hadoop based Distributed DBSCAN)算法,用于识别铁矿石装卸泊位。船舶位置数据量非常巨大,全部位置数据在1000亿行以上(5年累计数据),即便是铁矿石船也有10亿行左右。单进程的DBSCAN算法做聚类分析,计算时长得按年计算。为了解决这个问题,本文基于Hadoop和地理区域划分,设计了分布式DBSCAN算法。众所周知,DBSCAN只能对相似密度对数据做聚类分析。然而,船舶位置数据的密度取决于该地区的基站数量,因此,船舶位置数据的密度差距非常大,中国区密度最高,南非、印度等地区密度又很低。为解决密度不均,无法得到低密度类的问题,对于不同的区域采用不同的DBSCAN算法参数。2.设计了SVF(Statistic based Voyage Forecast)算法,用于预测船舶航次。已有文献的航次算法,都是针对港区内部的航次,没有能够做到全球航次预测。本文基于划分算法、以及每个航段目的港后验概率,通过Bayes算法,随着航行过程中航段的增加,不断计算目的港的概率,最终达到准确预测的目的。以上述两个算法为核心,本文完成了以下系统功能:1.技术架构设计:技术架构上分为页面层,服务层,业务逻辑层,数据层四层。2.功能模块设计:基于业务需求,设计实现了铁矿石贸易量预-测,铁矿石实时航运等功能模块。3.其他相关模块:系统安全相关,如防止SQL注入、用户信息安全等。
【图文】：

示意图,算法,示意图,遍历

那么对象ｐ到ｑ是密度相连的。逡逑２．１．２算法描述逡逑算法示意图如图２－１所示。逡逑图２－丨ＤＢＳＣＡＮ算法示意图丨２９１逡逑ＤＢＳＣＡＮ算法原理：逡逑（１）逦ＤＢＳＣＡＮ遍历并检查所有点，，选出满足核心点要求的点，如果ｐ满逡逑足核心点要求，那么创建一个以ｐ为核心点的簇。逡逑（２）逦ＤＢＳＣＡＮ遍历所有簇，并聚集从这些核心对象直接密度可达的点，逡逑该过程也会将密度可达的簇进行合并。逡逑（３）

曲线,帕克,道格拉斯,算法

总结为：逡逑Ｓ的首尾两点Ａ．Ｂ之间连接一条直线ＡＢ逡逑曲线上距离ＡＢ最远的点Ｃ，计算Ｃ到ＡＢ的距离为ｄ逡逑距离ｄ小于距离阈值ｔｈｒｅｓｈｏｌｄ，那么将该直线作为曲线的结束逡逑距离ｄ大于距离阈值ｔｈｒｅｓｈｏｌｄ，则将曲线分为ＡＣ和ＢＣ，理ＡＣ和ＢＣ逡逑有曲线处理完毕，依次连接所有的分割点，即为曲线的近相关技术逡逑ｏｇｌｅ提出的ＭａｐＲｅｄｕｃｅ并行计算模型，Ｈａｄｏｏｐ是Ａｐａｃｈｅ统【３１］实现的开源项目，将数据处理分成了邋Ｍａｐ和Ｒｅｄｕｃｅ机器不同进程来处理不同的任务，提高了系统的并发度，
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F416.1;F746;F551;TP311.13

【相似文献】