(7.6)--7.6 性能度量机器学习与模式识别.ppt

《(7.6)--7.6 性能度量机器学习与模式识别.ppt》由会员分享，可在线阅读，更多相关《(7.6)--7.6 性能度量机器学习与模式识别.ppt（18页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Performance Measurement性能度量性能度量CHAPTER ONE概述Introduction一、概述一、概述概念与性质性能度量评价模型泛化能力的定量标准定量性例如：正确率、错误率、均方误差多样性真阳率、假阳率、查全率、查准率、敏感度、特异度结果差异性不同的性能度量评价模型A和B的优劣时可能结论相反一、概述一、概述为什么需要性能度量不同任务需要不同的度量例如：分类任务多采用正确率，回归任务多采用预测误差相同任务也可能需要不同的度量例如：肿瘤诊断，体检关注漏检率，专家会诊关注虚警率模型训练需要性能度量的指导损失函数的收敛情况，训练集和验证集上的性能度量模型的评价与应用需要多样化

2、的、定量的依据如何评价哪个模型更适合当前任务？如何在成本与模型性能之间做精细的平衡？CHAPTER TWO常用度量Common Measurements二、常用度量二、常用度量准确率与错误率准确率(accuracy)错误率(error rate)二、常用度量二、常用度量二分类问题中的四种样例真阳例(TP)：True Positive实际为阳性P，预测为阳性P；假阳例(FP)：False Positive实际为阴性N，预测为阳性P；真阴例(TN)：True Negative实际为阴性N，预测为阴性N；假阴例(FN)：False Negative实际为阳性P，预测为阴性N；混淆矩混淆矩混淆矩混淆矩

3、阵阵预测预测真真真真实实情况情况情况情况P PN NP PTP(真阳)FN(假阴)N NFP(假阳)TN(真阴)二、常用度量二、常用度量真阳率与假阳率实际阳性实际阴性检出阳性真阳率假阳率二、常用度量二、常用度量ROC曲线Receiver Operating CharacteristicFPRTPR00.20.40.60.8100.20.40.60.811.2改变阈值，记录FPR与TPR形成ROC曲线横轴：假阳率纵轴：真阳率AUC(Area-Under-Curve)面积越大，性能越好二、常用度量二、常用度量查准率与查全率实际阳性实际阴性检出阳性查准率=1-虚警率查全率=真阳率=1-漏检率二、常用

4、度量二、常用度量P-R曲线Precision vs.Recall CurveRecallPrecision00.20.40.60.8100.20.40.60.811.2改变阈值，记录P与R形成P-R曲线横轴：查全率纵轴：查准率平衡点(BEP)坐标值越大，性能越好二、常用度量二、常用度量查准率查全率=真阳率二、常用度量二、常用度量灵敏度与特异度实际阳性实际阳性检出阳性灵敏度=真阳率=查全率特异度二、常用度量二、常用度量AP与mAP根据PR曲线，改变阈值，Recall与Precision数值将发生变化；总结概述性能度量性能度量常用度量概念性质原因定量性多样性差异性准确率错误率虚警率与漏检率PR曲线 BEPTP/FP/TN/FN混淆矩阵ROC曲线 AUC基本指标AP与mAP四种样例真阳率与假阳率查准率与查全率灵敏度与特异度LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听