点击上方关注，All in AI中国
虽然有很多指标可以用来衡量机器学习模型的性能，如Accuracy和Recall，但ROC曲线和CAP曲线对于分类问题非常有用。在本文中，我将探讨ROC和CAP是什么以及如何使用Python和虚拟数据集来创建这些曲线。
即使在探索了很多关于CAP Curve的文章之后，我还是找不到一篇详细解释如何创建它们的文章，这同时也是我写这篇文章的原因。
完整的代码可以从以下GitHub存储库中看到
https://github.com/kb22/ML-Performance-Evaluation
数据集
我创建了自己的数据集。主要有两个特性，年龄和经验。基于这两个特征，输出标签为0.0，表示小于$200k的薪水，1.0表示薪水大于或等于$200k
完整的数据集
绿点代表薪水超过或等于20万美元，红点代表薪水低于20万美元。我还确保了两个类之间存在一些重叠，因此数据会更加真实，不易分离。
分类
首先，我将数据分为两组，70％的训练数据和30％的测试数据。我使用支持向量分类器和线性内核来训练数据，然后在测试数据上测试模型。该模型的得分达到95％。
测试数据分类
绩效评估
受试者工作特征曲线 （ROC）
又称为感受性曲线，是测量分类模型性能的绝佳方法。真阳性率(TPR)与假阳性率(FPR)是分类器预测概率的对应关系。然后，计算图下的面积。
曲线下面积越大，区分类别的模型就越好。
导入文件并创建基线
首先，我从sklearn.metrics导入roc_curve和auc，这样我就可以创建ROC曲线并计算曲线下面积。我还将数字大小定义为20x12，并创建从（0,0）到（1,1）的基线。
值r--表示该线的颜色为红色，它是一条虚线（ - - - - - - - - - - - - - ）。
计算概率并确定TPR和FPR
接下来，使用predict_proba计算预测的概率并将其存储在probs中。它由两列组成，第一列包括第一类概率（薪水<$200k），第二列包括第二类概率（薪水≥$200k）。所以，我使用probs [：，1]选择第二类的概率。
roc_curve生成roc曲线并返回fpr、tpr和阈值。最后，使用fpr和tpr作为auc内部的输入，我计算该模型曲线下的面积，并将其保存在roc_auc中。 roc_auc现在具有由支持向量分类器生成的曲线下面积。
绘制ROC曲线
我使用fpr作为x值绘制曲线，使用tpr作为y值绘制曲线，颜色为绿色，线宽为4。此曲线的标签包括曲线下面积， x轴标签设置为假阳性率，y轴标签设置为真阳性率。标题是接收器操作特性，图例显示在图的右下角。文本大小设置为16。
ROC曲线
曲线下面积为0.98，非常惊人，并提供了我们的模型表现出色的信息。
累积精度曲线（CAP）
CAP曲线尝试分析如何使用最少的尝试次数有效地识别给定类的所有数据点。在这个数据集中，我试图确定支持向量分类器能够多快地识别薪水大于或等于$ 200K的个人。
计算每个类的人数
首先，我找到测试数据中的总数据点（60）并将其保存在变量total中。测试标签是0.0或1.0，所以如果我添加所有值，我将获得类1.0（31）的计数，我可以将其保存在class_1_count中。从总数中减去这个数字会得到class_0_count（29）。
我还将数字大小设置为20x12，使其大于正常值。
随机模型
首先，我们绘制一个随机模型，该模型基于1.0类的正确检测将线性增长的事实。
颜色为红色，样式为虚线，使用 - 定义。我将标签设置为随机模型。
随机模型
完美模型
接下来，我绘制完美的模型。一个完美的模型是一个能够检测与1.0级数据点相同次数的所有1.0级数据点的模型。完美模型需要31次尝试来识别31个1.0级数据点。
我把情节涂成灰色，标签设置为完美模型。
完美模型
训练模型（支持向量分类器）
最后，我绘制了支持向量分类器的结果。首先，就像在ROC曲线中一样，我在变量probs中提取类1.0的概率。
我把probs和y_test压缩在一起。然后，按照概率的相反顺序对此zip进行排序，使得最大概率首先出现，然后出现概率较低的概率。我只提取数组中的y_test值并将其存储在model_y中。
np.cumsum（）创建一个值数组，同时将数组中的所有先前值累加到当前值。例如，如果我们有一个数组[1,1,1,1,1]。应用cumsum将产生[1,2,3,4,5]。我用它来计算y值。此外，我们需要在数组前面为起点（0,0）追加0。 x值的范围从0到总 1。我添加了一个，因为np.arange（）不包括终点，我希望端点是total。
然后我用蓝色绘制结果并标记支持向量分类器。我还在剧情中包括了另外两个模型。
支持向量分类器
使用曲线下面积进行CAP分析
分析CAP曲线的第一种方法是使用曲线下面积。让我们将随机模型下的区域视为a。我们使用以下步骤计算准确率：
计算完美模型（aP）下的面积直到随机模型（a）计算预测模型（aR）下的面积直到随机模型（a）计算准确率（AR）= aR / aP精度率越接近1，模型越好。
使用auc，我计算了所有区域，然后使用这些值计算了准确率。该比率约为0.97，非常接近1，表明我们的模型确实有效。
使用Plot进行CAP分析
另一种分析CAP曲线的方法包括读取我们上面生成的图。同样的步骤是：
从x轴绘制50％的垂直线，直到它越过支持向量分类器图。在垂直线与训练模型相交的地方，绘制一条水平线，使其与y轴相交。计算1类标签相对于1类标签总数的百分比。一旦我们知道百分比，我们就可以使用以下括号来分析它：
1.低于60％：垃圾模型60％ - 70％：模型不佳70％ - 80％：良好的模式80％ - 90％：非常好的模型超过90％：太好了请注意，如果该值大于90％，则测试过拟合是一种很好的做法。
首先，我通过计算总测试数据的50％的int值来找到索引。我用它来绘制从这一点到训练模型的垂直虚线（ - - - ）。接下来，我绘制从这个交点到y轴的直线。我通过将目前观察到的1.0级值除以总类1.0数据点并将其乘以100来确定百分比。我得到的值为93.55％。
CAP曲线分析
尽管百分比是93.55％，大于90％，但结果是可以预期的。当我们在开始研究数据集和分类时，该模型在分割数据方面非常有效。虽然我在测试数据上使用了CAP分析，但我们也可以使用相同的方法来训练数据，并分析我们的模型在训练数据方面的了解程度。
结论
本文概述了如何在Python中计算ROC曲线和CAP曲线以及如何分析它们。
编译出品
机器学习检测指标选择（衡量机器学习模型性能）
2024-09-27 03:07:00 作者:樱婲涙 网址:https://m.xinb2b.cn/life/nrv293133.html
- 理性对待女主播（被凝视的身体与被贩卖的情感）
- 2024-09-27被凝视的身体与被贩卖的情感在直播的世界中，主播是温柔体贴并需要被保护的，而男性观众的强壮特质只能通过礼物打赏的多少来衡量文丨李思妤苏熠慧编者按：和游戏主播或带货主播不同，“秀场主播”主要靠聊天和歌舞来获得观众的虚拟礼物和积分报。
- 曹操出行上海运营公司总经理（吉利老将杨健接替周航出任董事长）
- 2024-09-27吉利老将杨健接替周航出任董事长（财见2023年2月10日讯）近日，曹操出行的运营主体杭州优行科技有限公司董事长发生变更，由周航变更为杨健曹操出行相关负责人表示，“杨健出任曹操出行董事长，意在强化曹操出行与吉利生态的协同，强化推动N。
- 木瓜怎么挑选才是好的（挑选木瓜的3个小技巧）
- 2024-09-27挑选木瓜的3个小技巧木瓜或叫番木瓜，是产在南方的一种热带水果，它可以直接生吃也可以加热熟食因为木瓜含有分解肉类蛋白质的碱性物质，所以炖肉时放一些木瓜可以使肉烂得更快木瓜未成熟时表皮是青色的，成熟后表皮会变成黄色，木瓜的果。
- 考生注意这几个大学专业谨慎选择（这11组本科专业看似相近）
- 2024-09-27这11组本科专业看似相近都说选专业报志愿是考生家长的事那么家长们做好这门“功课”了吗？有些专业从名称上看虽然很相近，但其实所学的课程和未来就业方向还是大大不同的，承担着选专业的“重担”，家长们需要将相近的专业区分开来，从所学。
- 心身疾病有哪些（什么是心身疾病）
- 2024-09-27什么是心身疾病心身疾病是心身医学研究的核心内容，它是指以躯体症状为主，心理、社会因素与个性特征在疾病的发生和发展过程中起重要作用，心理治疗或心身综合治疗效果较满意的一类疾病心身疾病的重点在于怎么去“明心调身”，“明。
- 安全模式查杀木马病毒（装机工具老毛桃携带木马病毒）
- 2024-09-27装机工具老毛桃携带木马病毒【快讯】近期，火绒收到用户反馈，称在使用老毛桃U盘启动装机工具制作的PE系统后，原有系统中多款安全软件被无故删除火绒工程师溯源发现，上述使用老毛桃制作的PE系统中被植入了病毒，当用户使用该PE系统时，。
- 适合女孩五行属土的字（分别是有什么寓意）
- 2024-09-27分别是有什么寓意圣，部首为土，从部首可知圣字的五行为土，是圣明、明智、通达的意思，做女孩名字能督促女孩成为一个通情达理、才华出众、光明磊落的人岚，部首为山，也是土属性的字，原指山林间的雾气，作为女宝宝名取神秘、迷人、。
- 五大官校是哪五所大学（真的有那么好吗）
- 2024-09-27真的有那么好吗在高考家长圈里有关五大官校的消息很多，传得神乎其神，只要考进去，就能稳稳地进入公务员队伍其实这些传言不是真实准确的，我今天就给大家详细讲讲这五所学校这五所学校分别是外交学院（隶属于外交部）、北京电子科。
- 西行纪九尾狐被黄眉怎么了
- 2024-09-27西行纪九尾狐被黄眉怎么了杀了，黄眉，理论一大箩筐，上去就非常的上进，但它的做法却是非常的阴险毒辣为了增加修为，它竟然吃掉了一直待它不薄的九尾狐！。
- 浙江云和梯田几月份最好看（不能错过的浙江云和梯田）
- 2024-09-27不能错过的浙江云和梯田#头条创作挑战赛#视频为：原九江一中高二（2）班孟丽君同学拍摄10月3日，浙江省丽水市的云和梯田，迎来了众多的游客来此观光休闲云和梯田，位于浙江丽水市云和县崇头镇周围高山上，海拔跨度为200米—140。
- 喝多久白醋蜂蜜水才有减肥的效果（喝蜂蜜白醋水能减肥吗）
- 2024-09-27喝蜂蜜白醋水能减肥吗喝蜂蜜白醋水能减肥吗,。
- 带有水字旁女孩名字（水字旁的名字女孩洋气温柔且坚韧-可爱点）
- 2024-09-27水字旁的名字女孩洋气温柔且坚韧-可爱点带水的名字可以帮助缺水女孩补足元素，平衡发展，也能辅助女孩形成像水一样温柔、坚韧的性格下面小编整理了一些水字旁的名字女孩洋气，来参考看看~1.选字形含水的字带水的字，自然字形里面需要表现出水元素，例如。