本文共 814 字,大约阅读时间需要 2 分钟。
- 分类结果混淆矩阵 ——预测 预测 正例 TP FN 反例 FP TN 准确率: acc = (TP+FP)/(TP+TN+FP+FN) 查准率或精度Precision: P=(TP)/(TP+FP) 查全率或者灵敏性或者召回率Recall: R=(TP)/(TP+FN) P-R曲线:横坐标为P,纵坐标为R,平衡点BEP满足P=R的取值 F1=2PR/(P+R) 商品推荐中更看重P,抓捕逃犯更看重R(查的更全点) F1可以扩展为 Fβ=(1+β2)×P×R/(β2×P+R) F β = ( 1 + β 2 ) × P × R / ( β 2 × P + R ) β β 大于1更看重查全R,否则更看重查准P
- ROC和AUC 用于截断点的设置。 ROC横坐标为真正例率:TPR=TP/(TP+FN) ROC纵坐标为假整理率:FPR=FP/(FP+TN) 绘图方法:给定m^+个整理和m^-个反例,根据学习器预测结果对样例进行排序,然后把分类与之设为最大,即把所有样例均预测为反例,此时真正例率和假正例率均为0,在坐标(0,0)处标记一个点,然后,将分类阈值依次设为每个样例的预测值,即一次将每个样例划分为正例,设前一个标记点坐标为(x,y),当前若为真正例,则对应标记点的坐标为(x,y+\frac{1}{m^+});当前若为假正例,则对应标记点的坐标为(x+\frac{1}{m^-},y),然后用线段连接相邻点即得。 AUC可通过对ROC曲线下各部分的面积求和而得。 :AUC就是从所有1样本中随机选取一个样本,从所有0样本中随机选取一个样本,然后根据分类起对两个随机样本进行预测,把1样本预测为1的概率为p1,把0样本预测为1的概率为p0,p1>p0的概率就等于AUC。所以AUC反映的是分类器对样本的排序能力。 另外值得注意的是,AUC对样本类别是否均衡病不敏感,这也是不均衡样本通常用AUC评价分类器性能的一个原因。
转载地址:http://ofqmi.baihongyu.com/