yolov3像素级目标识别(基于DIou改进的YOLOv3目标检测)
yolov3像素级目标识别(基于DIou改进的YOLOv3目标检测)
2024-11-08 09:42:51  作者:幸福的插曲  网址:https://m.xinb2b.cn/life/eem405858.html


计算机视觉研究院专栏

作者:Edison_G

背景&引言

文中指出DIoU要比GIou更加符合目标框回归的机制,将目标与anchor之间的距离,重叠率以及尺度都考虑进去,使得目标框回归变得更加稳定,不会像IoU和GIoU一样出现训练过程中发散等问题,并且方法能够简单地迁移到现有的算法中带来性能的提升,实验在YOLOv3上提升了5.91mAP。


其中B={x,y,w,h} 是预测框, 是 ground-truth。IoU是目标检测里面很重要的一个指标,通过预测的框和GT间的交集与并集的比例进行计算,经常用于评价bbox的优劣 。但一般对bbox的精调都采用L2范数,而一些研究表明这不是最优化IoU的方法,因此出现了IoU loss。

IoU Loss



IoU loss顾名思义就是直接通过IoU计算梯度进行回归,论文提到IoU loss的无法避免的缺点:当两个box无交集时,IoU=0,很近的无交集框和很远的无交集框的输出一样,这样就失去了梯度方向,无法优化。IoU loss的实现形式有很多种,除公式2外,还有UnitBox的交叉熵形式和IoUNet的Smooth-L1形式。

这里论文主要讨论的类似YOLO的检测网络,按照GT是否在cell判断当前bbox是否需要回归,所以可能存在无交集的情况。而一般的two stage网络,在bbox regress的时候都会卡, 不会对无交集的框进行回归。

GIoU Loss


GIou loss在IoU loss的基础上增加一个惩罚项, 为包围预测框 和 的最小区域大小,当bbox的距离越大时,惩罚项将越大。尽管GIoU解决了IoU的梯度问题,但他仍然存在几个限制:


上图可以很好的来说明GIoU不稳定以及收敛很慢的原因。上图中第一行三张图展示的是GIoU的回归过程,其中绿色框为目标框,黑色框为anchor,蓝色框为不同次数的迭代后,anchor的偏移结果。第二行三张图展示的是DIoU的回归过程,其中绿色框为目标框,黑色框为anchor,红色框为不同次数的迭代后,anchor的偏移结果。从图中我们可以看到,GIoU在回归的过程中,从损失函数的形式我们发现,当IoU为0时,GIoU会先尽可能让anchor能够和目标框产生重叠,之后GIoU会渐渐退化成IoU回归策略,因此整个过程会非常缓慢而且存在发散的风险。而DIoU考虑到anchor和目标之间的中心点距离,可以更快更有效更稳定的进行回归。


如上图中的包含情况,GIoU会退化成IoU(三个位置预测框和gt框所包围的最小面积相同,惩罚项c保持一致,梯度发散)。由于很大程度依赖IoU项,GIoU需要更多的迭代次数来收敛,特别是水平和垂直的bbox(后面会分析)。一般地,GIoU loss不能很好地收敛SOTA算法,反而造成不好的结果。

综合上面的分析,论文提出Distance-IoU(DIoU) loss,简单地在IoU loss基础上添加一个惩罚项,该惩罚项用于最小化两个bbox的中心点距离。如图1所示,DIoU收敛速度和效果都很好,而且DIoU能够用于NMS的计算中,不仅考虑了重叠区域,还考虑了中心点距离。另外,论文考虑bbox的三要素,重叠区域,中心点距离和长宽比,进一步提出了Complete IoU(CIoU) loss,收敛更快,效果更好。


知识回顾

IoU and GIoU Losses

为了全面地分析IoU loss和GIoU的性能,论文进行了模拟实验,模拟不同的距离、尺寸和长宽比的bbox的回归情况,如下图所示:


绿色框代表仿真实验需要回归的七个不同尺度的目标框,七个目标框的中心点坐标都是(10 * 10);

蓝色的点代表了所有anchor的中心点,中心点的分布如上图所示,各个方向都有,各种距离都有,当然每个anchor的一个中心点都包含有七个不同面积的anchor框。而且每个面积的anchor框又有七种不同的比例尺寸。因此一共有5000个蓝色点,对应5000*7*7个anchor框,并且每个anchor框都需要回归到七个gt目标框上,因此一共有5000*7*7*7个回归案例。

最终的实验结果如下:图中展示的训练同样的步数后(200步),IoU,GIoU以及本文提出的DIoU、CIoU作为loss的情况下,每个anchor的误差分布。


IoU:从IoU误差的曲线我们可以发现,anchor越靠近边缘,误差越大,那些与目标框没有重叠的anchor基本无法回归;

GIoU:从GIoU误差的曲线我们可以发现,对于一些没有重叠的anchor,GIoU的表现要比IoU更好。但是由于GIoU仍然严重的依赖IoU,因此在两个垂直方向,误差很大,基本很难收敛,这就是GIoU不稳定的原因;

DIoU:从DIoU误差的曲线我们可以发现,对于不同距离,方向,面积和比例的anchor,DIoU都能做到较好的回归。

具体伪算法步骤如下:


对于预测框 ,当前迭代(current iteration epochs = t)回合, 可以通过下式获得:


给定一个loss函数 ,可以通过梯度下降来模拟bbox优化的过程。对于预测的bbox , 为阶段的结果,'为 对 的梯度,使用 来加速收敛。bbox的优化评价使用 -norm,共训练200轮,error曲线如下图所示:


论文将5000个中心点上的bbox在最后阶段的total error进行了可视化。IoU loss只对与target box有交集的bbox有效,因为无交集的bbox的梯度为0。而GIoU由于增加了惩罚函数,中间大部分区域错误率明显减少,但是垂直和水平的区域依然保持着高的error,这是由于GIoU的惩罚项经常很小甚至为0,导致训练需要更多的迭代来收敛。


计算机视觉研究院学习群等你加入!

计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

计算机视觉研究院

公众号ID|ComputerVisionGzq

  • 足力健老人鞋是哪里出的产品(专业老人鞋品牌足力健)
  • 2024-11-08专业老人鞋品牌足力健体育竞技场上,为国争光的运动健儿们穿的鞋子都需要专业定制赛场外,恐怕只有一个群体能受到这样的待遇,那就是常常买不到合脚鞋子的老人群体,足力健老人鞋用专业产品,解决老人的穿鞋难题足力健搜集老人脚型数据足。
  • 羊肚菌人工种植和野生的区别(珍稀食用菌羊肚菌)
  • 2024-11-08珍稀食用菌羊肚菌羊肚菌是一种珍稀食用菌品种,因为菌盖表面凹凸不平、状如羊肚而得名又叫羊肚菜、羊蘑、羊肚蘑春末至秋初,羊肚菌生长在针叶阔叶林混交林中,分布在陕西、甘肃、青海、西藏、新疆、四川、山西、吉林、江苏、云南、河。
  • 如何修复长指甲(惊叹人体的修复再造功能)
  • 2024-11-08惊叹人体的修复再造功能一、早上不小心不重物挤压到右手无名指,直觉疼痛难忍,指甲盖里有淤血,三分之二的指甲变为灰色到下午时大家可看到被压手指指肚皮下层中有红色小点为毛细血管出血所致指甲盖有肿胀感,颜色为深灰色半日后的指甲盖半。
  • 晁盖他们为何要逃命(晁盖为何一定要死)
  • 2024-11-08晁盖为何一定要死很多人都为晁盖早早牺牲感到惋惜,认为如果晁盖继续坐在梁山头把交椅上,林冲不会风瘫,鲁智深不会圆寂,武松也不会断臂,梁山一百单八将,也不会在征方腊的时候折损(包括死走逃亡)大半,最后只有二十七人回到京城。
  • switch有但丁的复仇吗(初代鬼泣今夏登上Switch)
  • 2024-11-08初代鬼泣今夏登上SwitchIP在手,江山我有Capcom宣布初代《鬼泣》(DevilMayCry)将登上NintendoSwitch,今夏发售注意了,本次不同于2018年推出的《鬼泣HD合辑》,而是以单款游戏的形式推出事实上,。
  • 布鲁克林篮网队vs雄鹿东决(NBA07:00布鲁克林篮网VS华盛顿奇才)
  • 2024-11-08NBA07:00布鲁克林篮网VS华盛顿奇才赛季至今,全NBA只有5支球队的客场胜率超过50%,其中就包括了篮网,这说明篮网实力确实很不错,现阶段篮网还是受到伤病困扰,杜兰特迟迟未能复出就是最大问题杜兰特之于篮网,不仅仅是队内最有把握的得分手,。
  • 大四女生江中溺亡(虹口女子溺亡事件目击者)
  • 2024-11-08虹口女子溺亡事件目击者四川在线记者王了8月9日下午4点左右,一名25岁的年轻女子,在都江堰虹口漂流景区白沙河深溪段漂流时发生落水,不幸溺亡事发前后到底发生了什么?一名网友给四川在线“问政四川”平台和川报观察民情热线求助通道。
  • 七夕节告白短句(七夕节祝福金句)
  • 2024-11-08七夕节祝福金句七夕节,是我国传统节日中最具浪漫色彩的一个节日,也被认为是"中国情人节"!在节日到来的时候,人们会借着节日的气氛,给喜欢的人送上一场表白,那么七夕表达爱意的句子有哪些呢?看下面⬇️还有。
  • 乳胶床垫放到什么上最好(乳胶床垫怎么选)
  • 2024-11-08乳胶床垫怎么选家居装修,为什么那么多人选择乳胶床垫?那是因为它的优点真多!乳胶床垫除了柔软有弹性、支撑力好之外,无论怎么翻身都不会有噪音和振动,而且还透气、防螨防蚊乳胶床垫怎么选?一起来看下吧~看:天然乳胶在光照下。
  • 锤子智能音箱哪款好(电影和智能的结合)
  • 2024-11-08电影和智能的结合当影音系统回归简单,系统不再繁复臃肿,不管听音乐还是看电影,回归产品本质,追求音乐的重视重放和电影音效的声临其境才是影音爱好者的最终目的而家庭影院当中的音频系统并非简单的两声道立体声系统,而是相当复杂。
  • 好的家庭教育从小培养孩子(怎么做好家庭教育)
  • 2024-11-08怎么做好家庭教育说到家庭教育,我首先想到的是龙应台写给儿子安德烈的一段话:孩子,我要求你读书用功,不是因为我要你跟别人比成绩,而是因为,我希望你将来会拥有选择的权利,选择有意义、有时间的工作,而不是被迫谋生这有点题外。
  • 高中数学平面向量最容易错的四点(高中数学必修四)
  • 2024-11-08高中数学必修四平面向量是高中数学必修四的内容,是高考必考的内容,在高考中属于送分题同学们在做这种类型的题时,只需按部就班的计算,不需要特立独行的方法,只要你不出计算错误,那么是非常容易拿到满分的当同学们在做简答题(。