水声目标分类算法性能评估

发布时间：2024-05-17 05:45

　　水声目标分类算法研究中使用的性能指标单一且受样本不平衡影响,其评估方法也不适于样本有限的场景。针对这些问题,本文基于水声场景需求,建立了仿真模型,并分析了性能指标与样本类分布的关系,比较了不同样本条件下各评估方法的估计误差。结果表明:PR曲线下面积具有稳定的鉴别力,均衡正确率等指标受样本类分布影响小,各评估方法在样本有限时估值差异显著。据此,本文构建性能指标体系可用于设计和评估算法,提出适应水声需求的修正均衡正确率,同时推荐采用5×2分层交叉验证的评估方法。

【文章页数】：7 页

【部分图文】：

图1性能指标与r的关系

综上,由PR曲线及AUC_PR、TPR、FPR及AccB构建性能指标体系。PR曲线反映算法的知识建模能力,标量指标AUC_PR用于比较。AccB和修正AccB反映模型联合门限的分类能力,FPR体现约束,ROC曲线参与对AccB的修正。修正AccB使融合指标更符合水声场景中控制FP....

图2各评估方法在不同样本集下的估计值分布

图2为试验1000次估值的箱线图,展示不同样本集设置下各评估方法的估值分布。图中虚线为真值,三角为均值,箱子两端为四分位数,延长线端点为极值。均值相对真值的偏离反映估计偏差,箱子及延长线的长短反映估计方差。为进一步定量比较估计结果差异,在0.05的显著性水平下利用F检验考察方差....

本文编号：3975468