yolov3像素级目标识别(基于DIou改进的YOLOv3目标检测)
yolov3像素级目标识别(基于DIou改进的YOLOv3目标检测)
2024-09-28 04:27:46  作者:幸福的插曲  网址:https://m.xinb2b.cn/tech/eem405858.html


计算机视觉研究院专栏

作者:Edison_G

背景&引言

文中指出DIoU要比GIou更加符合目标框回归的机制,将目标与anchor之间的距离,重叠率以及尺度都考虑进去,使得目标框回归变得更加稳定,不会像IoU和GIoU一样出现训练过程中发散等问题,并且方法能够简单地迁移到现有的算法中带来性能的提升,实验在YOLOv3上提升了5.91mAP。


其中B={x,y,w,h} 是预测框, 是 ground-truth。IoU是目标检测里面很重要的一个指标,通过预测的框和GT间的交集与并集的比例进行计算,经常用于评价bbox的优劣 。但一般对bbox的精调都采用L2范数,而一些研究表明这不是最优化IoU的方法,因此出现了IoU loss。

IoU Loss



IoU loss顾名思义就是直接通过IoU计算梯度进行回归,论文提到IoU loss的无法避免的缺点:当两个box无交集时,IoU=0,很近的无交集框和很远的无交集框的输出一样,这样就失去了梯度方向,无法优化。IoU loss的实现形式有很多种,除公式2外,还有UnitBox的交叉熵形式和IoUNet的Smooth-L1形式。

这里论文主要讨论的类似YOLO的检测网络,按照GT是否在cell判断当前bbox是否需要回归,所以可能存在无交集的情况。而一般的two stage网络,在bbox regress的时候都会卡, 不会对无交集的框进行回归。

GIoU Loss


GIou loss在IoU loss的基础上增加一个惩罚项, 为包围预测框 和 的最小区域大小,当bbox的距离越大时,惩罚项将越大。尽管GIoU解决了IoU的梯度问题,但他仍然存在几个限制:


上图可以很好的来说明GIoU不稳定以及收敛很慢的原因。上图中第一行三张图展示的是GIoU的回归过程,其中绿色框为目标框,黑色框为anchor,蓝色框为不同次数的迭代后,anchor的偏移结果。第二行三张图展示的是DIoU的回归过程,其中绿色框为目标框,黑色框为anchor,红色框为不同次数的迭代后,anchor的偏移结果。从图中我们可以看到,GIoU在回归的过程中,从损失函数的形式我们发现,当IoU为0时,GIoU会先尽可能让anchor能够和目标框产生重叠,之后GIoU会渐渐退化成IoU回归策略,因此整个过程会非常缓慢而且存在发散的风险。而DIoU考虑到anchor和目标之间的中心点距离,可以更快更有效更稳定的进行回归。


如上图中的包含情况,GIoU会退化成IoU(三个位置预测框和gt框所包围的最小面积相同,惩罚项c保持一致,梯度发散)。由于很大程度依赖IoU项,GIoU需要更多的迭代次数来收敛,特别是水平和垂直的bbox(后面会分析)。一般地,GIoU loss不能很好地收敛SOTA算法,反而造成不好的结果。

综合上面的分析,论文提出Distance-IoU(DIoU) loss,简单地在IoU loss基础上添加一个惩罚项,该惩罚项用于最小化两个bbox的中心点距离。如图1所示,DIoU收敛速度和效果都很好,而且DIoU能够用于NMS的计算中,不仅考虑了重叠区域,还考虑了中心点距离。另外,论文考虑bbox的三要素,重叠区域,中心点距离和长宽比,进一步提出了Complete IoU(CIoU) loss,收敛更快,效果更好。


知识回顾

IoU and GIoU Losses

为了全面地分析IoU loss和GIoU的性能,论文进行了模拟实验,模拟不同的距离、尺寸和长宽比的bbox的回归情况,如下图所示:


绿色框代表仿真实验需要回归的七个不同尺度的目标框,七个目标框的中心点坐标都是(10 * 10);

蓝色的点代表了所有anchor的中心点,中心点的分布如上图所示,各个方向都有,各种距离都有,当然每个anchor的一个中心点都包含有七个不同面积的anchor框。而且每个面积的anchor框又有七种不同的比例尺寸。因此一共有5000个蓝色点,对应5000*7*7个anchor框,并且每个anchor框都需要回归到七个gt目标框上,因此一共有5000*7*7*7个回归案例。

最终的实验结果如下:图中展示的训练同样的步数后(200步),IoU,GIoU以及本文提出的DIoU、CIoU作为loss的情况下,每个anchor的误差分布。


IoU:从IoU误差的曲线我们可以发现,anchor越靠近边缘,误差越大,那些与目标框没有重叠的anchor基本无法回归;

GIoU:从GIoU误差的曲线我们可以发现,对于一些没有重叠的anchor,GIoU的表现要比IoU更好。但是由于GIoU仍然严重的依赖IoU,因此在两个垂直方向,误差很大,基本很难收敛,这就是GIoU不稳定的原因;

DIoU:从DIoU误差的曲线我们可以发现,对于不同距离,方向,面积和比例的anchor,DIoU都能做到较好的回归。

具体伪算法步骤如下:


对于预测框 ,当前迭代(current iteration epochs = t)回合, 可以通过下式获得:


给定一个loss函数 ,可以通过梯度下降来模拟bbox优化的过程。对于预测的bbox , 为阶段的结果,'为 对 的梯度,使用 来加速收敛。bbox的优化评价使用 -norm,共训练200轮,error曲线如下图所示:


论文将5000个中心点上的bbox在最后阶段的total error进行了可视化。IoU loss只对与target box有交集的bbox有效,因为无交集的bbox的梯度为0。而GIoU由于增加了惩罚函数,中间大部分区域错误率明显减少,但是垂直和水平的区域依然保持着高的error,这是由于GIoU的惩罚项经常很小甚至为0,导致训练需要更多的迭代来收敛。


计算机视觉研究院学习群等你加入!

计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

计算机视觉研究院

公众号ID|ComputerVisionGzq

  • 过量补充叶酸的危害(补充叶酸对身体会有副作用吗)
  • 2024-09-28补充叶酸对身体会有副作用吗相信很多人对叶酸的初印象,都是只有备孕、孕妇才能够补充,殊不知,所有人都需要吃叶酸!叶酸是什么身份?叶酸是维生素B族的家族成员之一,具有参与遗传物质、蛋白质代谢、提高机体免疫力、促进肠道吸收等作用,作。
  • 猪龙骨怎么做软(大块猪龙骨怎样做会又嫩又软)
  • 2024-09-28大块猪龙骨怎样做会又嫩又软材料:龙骨4块,罗汉果半个,陈皮5到10克,广东米酒适量龙骨洗净焯水(只用4块就够了)炖盎放入龙骨、罗汉果、陈皮、数滴米酒,加开水至9分满深锅加足量水开后放入炖盎大火煮开后转小火炖2.5至3小时,罗汉。
  • 微信被拉黑的好友名单(微信右上角这个功能很方便)
  • 2024-09-28微信右上角这个功能很方便相信大家都有一个微信号,用微信来实时聊天或者用来付款转账等等微信已经不仅仅是一个社交平台,它的用户黏性非常大,可以利用微信购买火车票,网购让人们都离不开它一个人的微信号里面至少都有几十几百甚至上千个好。
  • 广东梭子蟹怎么烧才好吃(入口就能鲜掉你的眉毛)
  • 2024-09-28入口就能鲜掉你的眉毛说到粉丝一个可菜可主食的食材吸味能力极强,搭配梭子蟹做成粉丝煲沾满蟹黄的粉丝色泽黄亮吸收了蟹肉的鲜味后筋道Q弹,鲜香扑鼻入口瞬间就能鲜掉你的眉毛~温馨提示,粉丝在砂锅里先用蟹黄炒香,鲜味更浓郁哦​​​。
  • 也说祷告(也说祷告)
  • 2024-09-28也说祷告孔老夫子何许人也?能不明白你说这话是几个意思!是想耍排场?还是想打秋风?图片来源于网络“祷告”这件事,在人类社会当中应该是很早就有了不同的时间,不同的地域,不同的人群,祷告的对象不同而已祷告源于何时?。
  • 西游记倒过来看才叫经典(看了半辈子西游记)
  • 2024-09-28看了半辈子西游记1988年2月1日,电视连续剧《西游记》全集播出,从此霸占中国电视圈长达30年,成为寒暑假的主打剧目,并成功吸引了千万“神兽”心甘情愿蹲在家里看剧中国第一部神话剧、特效剧、外景剧,也是一部大量删减、和。
  • 糖尿病吃椰子油(煮米饭时加点椰子油可以减少卡路里)
  • 2024-09-28煮米饭时加点椰子油可以减少卡路里  如果你喜欢吃米饭,但你担心它经过高度加工并且具有高血糖指数,我们有好消息要告诉你    你知道当你在食物中添加一些东西时,食物对你的血糖水平的影响会改变吗?这是真的!    来自斯里兰卡的两位科学。
  • 邓亚萍过46岁生日晒一家(邓亚萍亲自陪子练球)
  • 2024-09-28邓亚萍亲自陪子练球5月14日,邓亚萍在社交平台上分享了陪儿子练习打乒乓球的视频,儿子的身高已超出妈妈很多,但球技跟妈妈还差不少母子俩都穿着运动装,就像正规比赛一样,节奏很快邓亚萍看起来有些发福了,但动作还是很灵敏,球技。
  • 机箱跳线图解(拒绝从入门到放弃)
  • 2024-09-28拒绝从入门到放弃对于DIY玩家来说,任何机箱里的知识都要有一定的了解,上到主板供电规格,下到线材的整理收纳不过对于刚刚接触电脑装机的用户来说,可能还有一些比较棘手的问题难以解决其中自然就包括了劝退很多DIY玩家的跳线。
  • 端午节五彩绳(端午节五彩绳是什么)
  • 2024-09-28端午节五彩绳是什么五彩线,由红、黄、黑(蓝)、绿、白等五个颜色组成,古代也叫五色丝线、五彩长命缕系五彩线是端午节不可缺少的部分,在端午节佩戴五色丝线以辟邪,带来好运拴五色丝线之俗源于我国古代的五行观念,或为古代南方人的。
  • 教资笔试最后一周怎么备考(明天的教资笔试)
  • 2024-09-28明天的教资笔试考试需要身、心、知识多方面的准备把大家需要提前准备的东西稍微梳理了下,可对照有无,避免遗忘1.物品(1)身份证(2)准考证(建议多打印几份:一份放文具袋里,一份放常用的包包里,一份放考试当天所穿衣服口。
  • 大香山千年古寺(探访千年古刹大云寺)
  • 2024-09-28探访千年古刹大云寺山西省武乡县大云寺创建年代不详,据寺内碑文记载,北宋年间,改称大云寺高瑞峰摄中新网长治5月23日电题:探访千年古刹大云寺:曾为粮库今展新颜作者高瑞峰墙外摊铺林立,墙内古韵悠悠一座千年古刹,藏于闹市之中。