返回
分类模型的常见度量指标（模型评估指标之间的一些联系）
分类模型的常见度量指标（模型评估指标之间的一些联系）
2024-09-28 10:25:07  作者:你眼瘸呀  网址:https://m.xinb2b.cn/sport/zjg244770.html

信贷评分模型的评估指标常见的有P-R曲线、AUC、KS、混淆矩阵、AR、洛伦茨曲线等，各个评估指标之间都有或多或少的联系和区别，从而从不同角度对模型进行评估。本文尝试写一些各个评估指标间的联系，从而对模型评估指标有更加深入的理解。

目录

正负样本的选择混淆矩阵与概率密度分布提升图与洛伦茨曲线洛伦茨曲线与KSKS与AUC值参考资料

一、正负样本的选择

直观上，在信贷风控建模中都以好样本为正样本，以坏样本为负样本。其实正负样本的选择不同直接影响的就是混淆矩阵，在以好样本为正样本的情况下，信贷业务的一些指标如通过率与坏账率如下：

通过率，即模型判断为好样本的数量占总样本的数量。


坏账率为模型判断为好样本(P)中真正的坏样本(FP)所占的比例。


而模型的准确率Precison定义为模型判断为好样本中真正的好样本所占比例，即：


由此可见，坏账率就是1-Precison，在模型优化时设法让Precison值更高，即通过样本中的好样本占比尽可能高，这是一个很好的性质，也是将好样本作为正样本的优点。但同时其他的一些指标比如F1指标，这个时候就是无效的。

在机器学习中，往往是将少数样本定义为正样本，在信贷模型也就是将坏样本定义为正样本，表示希望模型在训练时更加关注坏样本，控制模型对坏样本的预测能力，这也更符合业务场景。

总结一下，正负样本的选择没有强制要求，根据自身需求而定，不同正负样本的选择会对指标的表现方式产生影响。

二、混淆矩阵与概率密度分布

为了便于理解，以好样本为正样本，将混淆矩阵与正负样本的概率密度函数对应到一张图上：


虚线左边为拒绝的样本，即经模型预测低于cutoff值的坏样本；右边为通过的样本，即经模型预测高于cutoff的好样本。FN为模型预测为坏样本但实际为正样本，即被误拒的好人；FP为模型预测为好样本但实际为坏样本，即误准入的坏人。

TPR为预测为正例且实际为正例的样本占所有正例样本的比例，即所有好样本中通过样本的占比。


FPR为预测为正例但实际为负例(误准入)的样本占所有负例样本的比例，即所有坏样本中被误准入的样本占比。


由于KS值是取TPR和FPR之差的最大值，可以理解为两个累计分布之差。以上图中的cutoff值为例，虚线往左移则TP增加的比例要小于FP增加的比例，虚线往右移则TP减少的比例大于FP减少的比例，因此只有在虚线处TP的占比与FP的占比差值最大，也就是KS的取值。所以上图中三条线交叉的地方取到的cutoff值，正好为KS值对应的cutoff值。

三、提升图与洛伦茨曲线

提升图比较的是采用模型与不采用模型带来的改善，即采用模型后对坏样本识别能力的提升程度。计算过程如下图：


上图中的右侧有两条曲线，绿色的这根是Lift曲线，它是将每一组的坏样本占比除以整体的坏样本占比得到。这条曲线是趋于0的，且越陡说明模型的区分度越高。还有一根蓝色的曲线是累计的Lift曲线，是将累计的坏样本比例除以整体的坏样本占比所得，这条线是的临界点是1。

如果将用模型判断得到的每组累计坏样本占比与随机判断每组的累计坏样本占比进行绘图，就得到洛伦茨曲线，计算方式如下图：


洛伦茨曲线如下：


用洛伦茨曲线比较模型性能时，较好的模型的洛伦茨图应该更偏向于左上方坐标轴，这种比较模型性能的方式与ROC曲线相同。上图中洛伦茨曲线上一点的含义是:在通过率为50%的情况下，模型可以识别出80%的坏样本。


现在知道洛伦茨曲线越往左上方说明模型的性能越好，因此可以用一个指标来量化这种性质，如上图将图形分为A、B、C三块区域，理想状态下A的面积等于A B的和，此时可以完美地识别所有坏样本。因此，将A和A B的比值定义为基尼系数，也叫作AR值。

四、洛伦茨曲线与KS

洛伦茨曲线中在给定通过率后，只能得到对坏样本的识别能力，并没有反应对好样本的识别能力。而K-S曲线的本质是对坏样本的洛伦茨曲线和好样本的洛伦兹曲线构成的。


所以，上图中坏样本的累计占比曲线就是FPR，好样本的累计占比曲线就是TPR。上图中KS值为0.36，其含义是在通过率为62%时，模型能识别70%的逾期用户，但有34%的好样本被误判为坏样本拒绝。

KS值的高低与建模样本中的坏样本浓占比相关，并不是KS值越高风控就越好。下面是知乎"独孤qiu败"文章中的一个例子：

（1）如果建模样本中好坏样本比例good/bad=50/50，坏账率为50%；k-s值0.6指的是如果在误杀20%好用户的情况下可以识别80%的坏样本；那么使用模型之后的结果为good/bad=40/10，坏账率变为20%；这个我们做风控策略的人都知道在使用一些较好的变量的情况下是有可能的，因为毕竟做到50%的坏账已经是够烂的了。（2）如果建模样本中好坏样本比例good/bad=80/20，坏账率为20%；k-s值0.6指的是如果在误杀20%好用户的情况下可以识别80%的坏样本；那么使用模型之后的结果为good/bad=64/4，坏账率变为5.88%，其实我们知道这个一个模型是很难做到。

五、KS与AUC值

这一部分直接搬运求是汪的文章了，风控模型—区分度评估指标(KS)深入理解应用。


因为KS = |TPR - FPR|，如果添加辅助线TPR = FPR KS，那么这条直线的截距就是KS值。当与ROC曲线相切时，截距最大，也就对应max_ks。

在理解KS和ROC曲线的关系后，我们也就更容易理解——为什么通常认为KS在高于75%时就不可靠？我们可以想象，如果KS达到80%以上，此时ROC曲线就会变得很畸形，如下图：


六、参考资料

1.《Python金融大数据风控建模实战》

>【作者】：Labryant

>【原创公众号】：风控猎人

>【简介】：某创业公司策略分析师，积极上进，努力提升。乾坤未定，你我都是黑马。

>【转载说明】：转载请说明出处，谢谢合作！~

  • 个人缴纳公积金的流程（个人缴纳公积金注意什么）
  • 2024-09-29个人缴纳公积金注意什么今年下半年开始，在漳州的灵活就业人员，可以自行缴纳公积金，不用挂靠单位这样，以后申请公积金贷款买房，就能省下一大笔利息那不少以后想买房的人就来咨询，个人该怎么缴纳？首先，个人自行缴纳公积金，必须满足一。
  • 秦时明月女性角色出场顺序（秦时明月人物篇之紫女）
  • 2024-09-29秦时明月人物篇之紫女紫女由于天行九歌的播出，最近除了年轻时候的卫庄和韩非迷倒了无数粉丝，紫女也成为了秦迷的新女神，脸蛋和身材那是没得说，紫色的头发更是个性十足，让人心颤呀！紫女现在还属于很神秘的存在，具体身份还不明确，现。
  • 浙江这次涨洪水损失有多大（将影响浙江这三地）
  • 2024-09-29将影响浙江这三地8月12日凌晨1时，浙江省水文管理中心发布嘉兴站洪水红色预警：受冷空气和暖湿气流交汇影响，杭嘉湖区近11小时集中降雨量57.1毫米，嘉兴站将发生红色预警级别的洪水，预警时间范围8月12日至15日，影响。
  • 学而不思则殆殆的意思（学而不思则殆简单介绍）
  • 2024-09-29学而不思则殆简单介绍意思是：只是学习却不思考就会望文生义，迷惑而无所得，只是思考却不学习就会精神疲倦而无所得话出自《论语》为政的第15句，其中，“思”的意思为思考，思维；“罔”读wǎng，意思为迷惑，昏而无得；“殆”读d。
  • 士不可以不弘毅啥意思
  • 2024-09-29士不可以不弘毅啥意思这句话的意思是作为一个士人，一个君子必须要有宽广、坚韧的品质这句话出自《论语十二则》，原文是曾子曰:士不可以不弘毅，任重而道远仁以为己任，不亦重乎？死而后巳不亦远乎这句话主要调读书人、君子应该具有的品。
  • 脱脂乳粉是什么（什么是脱脂乳粉）
  • 2024-09-29什么是脱脂乳粉脱脂乳粉是将鲜牛奶脱去脂肪再干燥而成的奶粉，除脂肪可降低至1％左右外，其它变化不大，通常为乳白色或淡黄色，具温和乳香且带甜味脱脂乳粉是先将牛乳中的脂肪经高速离心机脱去，再经过浓缩、喷雾干燥而制成生产1。
  • 冰雪奇缘艾莎片段真人版（冰雪奇缘Ⅱ即将上映）
  • 2024-09-29冰雪奇缘Ⅱ即将上映曾经一度席卷动画影片票房、打破美国动画电影独占鳌头的玩具总动员系列，自从这部电影的出现，足以证明动画电影在票房争夺上的实力那就是迪士尼旗下艾莎公主和安娜公主的：《冰雪奇缘》自2013年上映一来，不提其。
  • 闹钟铃声在哪里设置（闹钟铃声怎么设置）
  • 2024-09-29闹钟铃声怎么设置首先，打开手机应用【闹钟】其次，进入闹钟页面中点击右上方的【+】接下来，设置好闹铃点击【铃声】下一步，闹钟铃声可以设置为【自定义铃声】或者【系统铃声】最后，闹钟铃声设置好后，点击右上方的【完成】即可。
  • 跑车圈大佬（超跑圈的四大公子）
  • 2024-09-29超跑圈的四大公子我不在乎朋友的家世，还是要看人本身，是不是好玩、人品好，有钱没钱太不重要了反正都不如我有钱就像王校长说的，到了这个层次，钱就已经是一个数字了，根本不会去在乎多少，人家只是真心想交点朋友有人说穷玩车，富。
  • 如何写离职原因（这些都可以作为参考）
  • 2024-09-29这些都可以作为参考巧妙回答离职的原因可以选择避重就轻的方法，避免说一些敏感的原因，比如被辞退，和领导员工不和睦等等感觉个人在公司发展的空间有限薪酬待遇与个人期望值有较大差距员工与领导层之间的互相信用程度较差，员工与上司。