在与策略相关的产品功能（搜索、排序、推荐）中，往往都涉及机器学习算法，因此评估推荐效果就转化为评估机器学习算法模型的好坏。那如何评估最终推荐的效果呢？本文作者梳理分析了4种方法，供大家参考和学习。
我们一般以人工标注为准，即看做真实结果，用各种率去衡量机器预测和真实结果之间的差距。评估方式有很多种，各有各的优点。
R\P\A\F值用Recall、Precision、Accuracy、F值，评估单个机器学习算法的效果，是最常见、最基础的方法。
对象分类：
（1）二分类：每一个评估对象有唯一的标签，YES or NO。如低俗、标题党文章。
（2）多分类（机器需要识别的标签数包含3个及3个以上，一般情况下，每一种标签的识别结果都是我们的关注目标）
单标签，每一个评估对象有唯一的标签，选择大于等于3，如文章分类。多标签，每一个评估对象有多个标签，如文章兴趣点、文章关键词。1. 二分类人工标注结果为“真”的样本记做T(True)，人工标注结果为“假”的样本记做F(False)；
机器预测结果为“真”的样本记做P(Positive)，机器预测结果为“假”的样本记做N(Negative)。
将其转化为矩阵，有四种结果：
TP：预测正确，预测情况是P，因此真实情况也是P。FP：预测错误，预测情况是P，因此实际情况是N。FN：预测错误，预测情况是N，因此实际情况是P。TN：预测正确，预测情况是N，因此实际情况也是N。
（混淆矩阵示意图）
召回率(Recall)=TP/(TP FN)，机器正确识别出”真”的样本数总和/样本总数
精准率(Precison)=TP/(TP FP)，机器正确识别出”真”的样本数总和/机器识别样本总数
准确率(Accuracy)=(TP TNP)/(TP FN FP TN)，机器正确识别的样本总数/样本总数（备注：正确识别包含把“True”样本识别为“Positive”，把“False”样本识别为“Negative”两种情况）
虽然准确率可以判断总的正确率，但如果样本中T、F样本分布极度不平衡，准确率结果会含有很大的水分，基本失去参考价值。
如样本中T占95%，F占5%，我们将模型设置为所有样本均预测为P的策略，则准确率有95%那么高，但实际上毫无意义。更多经典例子来自疾病试纸和验孕试纸（有兴趣的朋友可以查阅一下），所以统计的时候需要注意统计的对象。
针对R\P\A的计算，举个栗子：
（以上数据仅做理论说明，不做实际参考）
图解一：
召回率(R)=140/(140 11)=92.72%精准率(P)=140/(140 40)=77.78%准确率(A)=（140 4809）/(140 4809 40 11)=98.98%
图解二：
召回率(R)=140/151=92.72%精准率(P)=140/180=77.78%准确率(A)=（5000-40-11）/5000=98.98%
对于同一策略模型，同一阈值，可以统计出一组确定的精准率和召回率。调整参数，遍历0-1之间的所有阈值，就可以画出每个阈值下的关系点，从而得到一条曲线，称之为P-R曲线。
（召回率也叫查全率，精确率也叫查准率）
通过曲线发现，召回率和精准率相互制约，此起彼伏，所以只能找二者之间的平衡点。这时需要引入F值评估：F-Score（也称F-Measure），它是Precision和Recall加权调和平均数，[0,1]，值越大表示效果越好。
F1 Score：召回率和精确率同等重要
但往往我们对召回率和精准率的权重要求是不同的，这是我们需要用到 Fβ Score。
F2：召回率的重要程度是准确率的2倍F0.5：召回率的重要程度是准确率的一半（β大于0）
2. 多分类单标签M_i : 表示机器识别是 i 类别，同时是正确的样本数
C_i : 表示机器识别是 i 类别的总样本数
N_i : 表示 i 类别的实际总数（即人工标记为是 i 类别的样本数）
D ：文章总数
K： 类别总数
精确率(A)=(M_0 M_1 …… M_K)/(C_1 C_2 …… C_K)召回率(R)=(M_0 M_1 …… M_K)/(N_1 N_2 …… N_K)=(M_0 M_1 …… M_K)/D覆盖率(Coverage)= 所有精确度符合要求的机器预测样本数/D对于覆盖率，举个栗子：
假设单个类别精度要求90%，没有满足要求的类别，覆盖率C=0；
假设单个类别精度要求85%，则满足要求的类别有a、c，则覆盖率C=(90 100)/(100 100 200)*100%=47.5%。
在实际的文本审核工作中，还需要加上“无需审核的文章量”=准确率达标的文章量，用于评估减少人工审核文章量。
3. 多分类多标签M_i : 表示 i 标签识别正确的总样本数；
C_i : 表示 i 标签出现的总样本数；
N_i : 表示 i 标签实际总样本数（即人工标记为是 i 标签的总样本数）
K：表示标签集合的大小（即不同标签的个数）
准确率(A)=(M_0 M_1 …… M_K)/(C_0 C_1 …… C_K)召回率(R)=(M_0 M_1 …… M_K)/(N_1 N_2 …… N_K)但在实际工作中，考虑到人工标注可行性，评估指标不考虑多标签结果的先后顺序；并且考虑到每一篇文章人工打全所有标签的成本较大，召回率指标仅作为参考，看情况提供。
ROC、AUC前文介绍了R\P\A\F值，但它仅能评估单点效果而无法衡量策略的整体效果，于是我们再引入ROC(Receiver Operating Characteristic)、AUC(Area Under Curve)，它是一套成熟的整体策略评估方法。
先引入两个指标，这两个指标是ROC、AUC可以无视样本中T、F不平衡的原因。
真正率(TPR)=TP/(TP FN)，在“真”样本里预测正确的样本；假正率(FPR)=FP/(FP TN)，在“假”样本里预测错误的样本。
设横坐标是FPR、纵坐标是TPR，每个点都描绘了在某一确定阈值下模型中真正的P和错误的P之间的关系，遍历0-1的所有阈值，绘制一条连续的曲线，这就是ROC曲线。
如果我们遍历阈值，多次回归模型绘制出ROC曲线上的点，这种做法非常低效。因此我们可以用另外一种方法来代替ROC，即AUC，计算曲线下的面积。
如上图虚线，若我们将对角线连接，它的面积正好是0.5，代表模型完全随机判断，P/N概率均为50%。若ROC曲线越陡，AUC就越接近正方形，面积越接近1，代表效果越好。所以，AUC的值一般都介于0.5-1之间。
MAP除了考虑召回结果整体准确率之外，有时候还需要考虑召回结果的排序。于是我们要提起MAP（Mean Average Precision）。
先说说AP的计算，假设这N个样本中有M个正例，那么我们会得到M个Recall值（1/M, 2/M, …, M/M），如下图，N个样本里有6个正例，有6个Recall值：1/6, 2/6, …, 6/6，对于每个Recall值，我们可以计算出对于这个正例最大Precision，然后对这6个Precision取平均即得到最后的AP值。计算方法如下：
AP衡量的是学出来的模型在给定类别上的好坏，而MAP衡量的是学出的模型在所有类别上的好坏，得到AP后MAP的计算就变得很简单了，就是取所有AP的平均值。
CG/DCG/NDCG之前的指标大多是将目标值分为P和N两种情况，但用CG/DCG/NDCG（Normalized Discounted cumulative gain）算法可以用更多维度的指标来评估。
比如可以将目标值分为Good、Fair、Bad三类，也可以按照评分。CG->DCG->NDCG是一个考虑精度逐步复杂的演变，多用于搜索结果的评估，当规定相关分值越大表示越相关时，CG/DCG/NDCG值越大表示效果越好。
累计增益（CG），只考虑结果的相关性(reli)，不考虑位置因素。公式：
举个栗子：
假设某次搜索返回5个结果，相关度分数分别是4、2、1、1、2
所以CG=4 2 1 1 2=10
折损累计增益（DCG），既考虑结果的相关性，也考虑位置因素：a. 高关联度的结果比一般关联度的结果更影响最终的指标得分；b. 有高关联度的结果出现在更靠前的位置的时候，指标会越高。DCG公式：
再举个栗子：
假设某次搜索返回5个结果，相关度分数分别是4、2、1、1、2
DCG=1.26 3 0.38 0 1.26=5.9
归一化折损累计增益（NDCG），由于搜索结果随着检索词的不同，返回的数量是不一致的，没法针对两个不同的搜索结果进行比较，因此需要归一化处理。NDCG公式：
IDCG为理想情况下（相关度降序排列）最大的DCG值：
再再再举个栗子：
假设某次搜索返回5个结果，相关度分数分别是4、2、1、1、2
假如我们实际召回了7个物品，除了上面的5个，还有两个结果，假设第6个相关性为3，第7个相关性为0。在理想情况下的相关性分数排序应该是：3、3、2、2、1
所以IDCG=3 3 1.26 1.26 0.38=8.9，NDCG=DCG/IDCG=5.9/8.9*100%=66.29%
参考文献：Willy_G《搜索：由流程框架到实现方法》，http://www.woshipm.com/pd/2866942.html胖喵~《搜索评价指标——NDCG》，https://www.cnblogs.com/by-dream/p/9403984.html残阳崔雪《性能指标（模型评估）之mAP》，https://blog.csdn.net/u014203453/article/details/77598997本文由 @张小喵Miu 原创发布于人人都是产品经理，未经作者许可，禁止转载。
题图来自Unsplash，基于CC0协议。
引导客户下单技术（这4种机器效果测评方法你应该知道）
2024-10-01 02:19:32 作者:傻丫头回来 网址:https://m.xinb2b.cn/life/ixi515914.html
- 二本学校就业前景比较好的专业（8大值得报考的专业）
- 2024-10-018大值得报考的专业1、软件工程专业：其实普通二本院校的软件工程毕业生，同样也是很好就业的，这个专业基本上只要不是在大学期间摆烂的学生，找工作都不难当然如果只要没有执着地想着进政府、国企、银行的话，一般私企或者外企看得都。
- 板要怎么做好吃（有什么其他口味）
- 2024-10-01有什么其他口味介绍一个简单好吃的做法：将生板栗洗干净，溧水，每个板栗切一小口用微波炉器皿装好（最好不要超过1/2），盖子（塑料的）虚掩，2分钟2分钟的加热，到第2个板栗炸开的时候就好了很香的！板栗炸的时候有点吓人，。
- 五菱汽车召回通知（召回一次一年白干）
- 2024-10-01召回一次一年白干“人民需要什么，五菱就生产什么”，如此看重消费者所需的车企，也确实能够获得不少消费者的认可例如当前五菱宏光和宏光MINIEV等车型依然处于各自细分市场领头羊的位置此外，此前五菱和宝骏旗下的多款车型也曾。
- 雅诗兰黛旗下产品价格（雅诗兰黛明星产品调售价）
- 2024-10-01雅诗兰黛明星产品调售价发表于：2015-07-01作者YOKA时尚网来源于：YOKA时尚网2015年6月1日财政部宣布将下调包括化妆品在内的日用消费品关税，一时媒体圈的同行们开始观望预测接下来的高端化妆品行业将会不会有年初。
- ai基础教学 AI基础教程93效果
- 2024-10-01ai基础教学 AI基础教程93效果今天，我们继续给大家讲解“效果”菜单下“路径”菜单的第三个效果：轮廓化描边此外，我们还将介绍三种轮廓化描边的方法“轮廓化描边”效果可以把描边扩展成填充我们选择“效果”-“路径”-“轮廓化描边”，可以将。
- 电动三轮涉及的违章（无锡快递电动三轮有了智慧车牌）
- 2024-10-01无锡快递电动三轮有了智慧车牌近日，顺丰小哥熊小平的三轮车上装上了SF-0001号电动车“智慧车牌”车牌由市交警支队指导安装，内置芯片，能够实时获得电动车的行驶情况熊小平是首批安装“智慧车牌”的一员，作为全市试点，经开区本周内将为。
- 你好社区社交平台（社交平台又沦陷）
- 2024-10-01社交平台又沦陷同样是经由《爸爸去哪儿》被观众熟知的“星二代”，黄多多的观众缘就差了很多，颇有几分“黑红”体质这不，刚在社交平台晒出自己自导自演的英文视频，就再次招来许多负面评论视频中，黄多多“变身”为《阿甘正传》、。
- 高分子材料的发展及现状（高分子材料性能及产品缺陷杂谈）
- 2024-10-01高分子材料性能及产品缺陷杂谈关于高分子材料性能这一块，大家最熟悉的莫过于高分子材料的“熔融指数”这项内容了，微注塑公众号也推送过关于这方面的文章，有兴趣的小伙伴可以看看《熔指到底是什么，看这里就知道了》这篇文章，里面有非常详细的。
- 梦幻西游所有回忆（瞬间感悟梦幻西游）
- 2024-10-01瞬间感悟梦幻西游梦幻西游的宝宝：感悟提示蛤蟆精宝宝:如果上天再给我一次机会,我宁可喝金柳露也不吃天鹅肉了大蝙蝠宝宝:是不是黑山老妖那厮叫你来捉我的小龙女宝宝：对面的,叫声姑姑来听听，我就教你武功#哪句话，真正写到你的。
- 理查德朱维尔的哀歌片尾曲（理查德朱维尔的哀歌）
- 2024-10-01理查德朱维尔的哀歌2019年美国剧情电影，克林特·伊斯特伍德执导，根据真实事件改编，保罗·沃特·豪泽，凯西·贝茨，山姆·洛克威尔，奥利维亚·维尔德，乔·哈姆，妮娜·阿里安达主演，讲述奥运会安保人员理查德·朱维尔发现公园。
- 猪肉打碎做成肉丸怎么做（猪肉丸子做法介绍）
- 2024-10-01猪肉丸子做法介绍食材：猪肉500克、鸡蛋一个、生菜一小颗、香葱生姜大蒜籽各适量、盐鸡清蚝油各适量先把猪肉洗干净控水，先把猪皮切掉，再切成块再用刀耐心剁成肉糜，剁得越碎越好再把香葱清洗干净切成葱花，生姜切碎备用再把肉肉。
- 千千静听 歌词（千千静听突然想起了你）
- 2024-10-01千千静听突然想起了你突然想听点歌，然后呢？看了看自己的电脑音乐播放器，还没有安装，只有系统自带的那个，然后又想起了大学的时候用千千静听挺好的，然后就去网上搜索千千静听下了个播放器下来，然后看见皮肤不是自己当年使用的那款，。