栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
古往今来,大家都知道:只要图像一平移,CNN就认不出来了。
原因就在降采样身上。不管是最大池化,跨步卷积,还是平均池化,都对平移太敏感:
比如,0、0、1、1、0、0、1、1……这样的周期,最大池化是这样:
但如果平移一格,最大池化完全变了一个样子:
虽然,有著名的抗锯齿 (Anti-Aliasing,AA) 方法,致力解决这个问题。但把这种模块直接插进网络,会严重影响模型的表现。
现在,来自Adobe的Richard Zhang (简称“理查”) ,让抗锯齿和各种降采样和平共处了。
在保留平移不变性的情况下,还能提升ImageNet上的分类准确率。VGG、ResNet、DenseNet……各种架构都适用。
不止如此, 面对其他干扰更稳定了,如旋转如缩放;面对输入图像的损坏,还更鲁棒了。
研究登上了ICML 2019,代码已经开源,还有演讲可以看。Reddit热度已经超过了250,观众纷纷表达了谢意:
论文很厉害,演讲也很好。
怎样和解的?想知道怎样帮助CNN保留平移不变形,就要了解平移不变性是怎样打破的。
理查观察了VGG的第一个卷积层,发现它对平移毫无波澜,并不是在这里打破的。
但再观察第一个池化层,对平移有了反应:平移偶数个像素,表征还不改变,平移奇数个像素,表征就完全变了。
向网络深处走,经过的池化层越多,问题就越严重。
△抗锯齿
想解决这个问题,就要把抗锯齿和降采样友好地结合到一起。
于是,理查又仔细查看了降采样过程,把它 (按顺序) 分成了两个部分:
一是取最大值,用密集的方式。二是在中间特征图 (Intermediate Feature Map) 上做子采样 (Sub-Sampling) 。第一步没有问题,完全不会出现锯齿。
第二步就要改了。理查给中间特征图,加了个模糊滤波器 (Blur Filter) 来抗锯齿,然后再做子采样:
△(2)为滤波器
那么,“抗锯齿版最大池化”效果怎么样?
平移不变性与准确率兼得
理查用ImageNet分类任务测试了一下进化后的VGG,原以为会损失一些准确率,结果:
△右为抗锯齿
△空心为抗锯齿
在解锁平移不变性的同时,准确率还提升了。
如果降采样方法不是最大池化,又怎么样呢?
所以,理查还测试了ResNet和MobileNetv2,它们用的是跨步卷积;以及DenseNet,它用的是平均池化:
△空心为抗锯齿
这些架构也获得了类似的提升。全面成功。
上面只讲了分类这一项任务。而进化后的降采样,在图到图翻译任务上也同样有效。
不惧各种变换,以及图像损坏
不只是平移,像旋转、缩放这样的干扰,都可以应对自如;另外,面对输入图像损坏 (Image Corruption) ,也变得更加鲁棒了。
ImageNet-P数据集里,有受到各类干扰的图像;而ImageNet-C数据集里,包含了系统性损坏的图像。
△mCE=Mean Corruption Rate, mFR=Mean Flip Rate
左边一栏 (除了Baseline) 之外,是不同的滤波器,从上到下依次变强。mCE和mFR,都是越小越好。
数据显示,各种滤波器都能有效增强,应对干扰的稳定性,和应对图像损坏的鲁棒性。其中,最强的过滤器Bin-5表现最佳。
One More Thing如果小伙伴们没有看够,可以点开演讲视频:
然后,还有一大波传送门。
论文在此:
https://arxiv.org/abs/1904.11486
项目主页:
https://richzhang.github.io/antialiased-cnns/
开源代码:
https://github.com/adobe/antialiased-cnns/
— 完 —
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
cnn做图像分类详解(给CNN平移不变性同时提升ImageNet成绩)
2024-11-25 04:35:33 作者:哗众取宠 网址:https://m.xinb2b.cn/know/ftb223314.html
- 严重书荒穿越小说推荐(八本经典爽文来袭)
- 2024-11-25八本经典爽文来袭《沧元图》作者:我吃西红柿类型:玄幻简介:我叫孟川,今年十五岁,是东宁府“镜湖道院”的当代大师兄点评:番茄的新书虽然不用多说,但是也得带上,省的被书粉们惦记剧情逐步展开,主角不断成长,不知道你们看了有。
- 最美村寨是哪里(来打卡这7个特色村寨)
- 2024-11-25来打卡这7个特色村寨偏坡偏坡民风淳朴,生活恬静这里有令人向往的“诗和远方”漫步在弯弯绕绕的街巷中古色古香、民族风情十足五月的偏坡景色怡人绿意悠悠,杨柳依依,碧波荡漾布依建筑错落有致十分惬意悠然爬上小镇最高的观景台整个小镇。
- 虞姬诞生世间再无蝶衣(我心中的奇女子)
- 2024-11-25我心中的奇女子自古红颜多薄命中国古代四大美人貂蝉被用来离间董卓和吕布,西施被范蠡用来蛊惑吴王,昭君被远嫁匈奴先后侍奉单于祖孙三代,杨玉环也成为了安史之乱的代罪羔羊历史上,美丽的女人总是命运坎坷,被人利用,成为政治的。
- 白凤九的六大情敌(读了家有九凤原著才懂)
- 2024-11-25读了家有九凤原著才懂注:本文根据《家有九凤》原著小说创作,图片源于《家有九凤》电视剧错过初恋卫平,是七凤一辈子的遗憾七凤和卫平,是“共患难”的情谊,有着深厚的感情《家有九凤》原著里提到,七凤插队到北大荒,条件艰苦,环境恶。
- 新三板集合竞价和协议转让差距(协议转让告别盘中交易)
- 2024-11-25协议转让告别盘中交易1月12日是新三板采用盘中协议转让的最后一个交易日当天,协议转让成交额较前一个交易日明显增长,共成交12.27亿元,28只个股成交额突破千万元2017年12月22日,全国股转公司发布多项文件,对新三板。
- 重阳节日记250字8篇(孙静文学作品说说节日的事)
- 2024-11-25孙静文学作品说说节日的事二月二二月二江上行,东风日暖闻吹笙花须柳眼各无赖,紫蝶黄蜂俱有情万里忆归元亮井,从事三年亚夫营心滩莫悟游人意,更作风檐风夜雨声李商隐公历2022年3月4日,农历二月初二,传说是“龙抬头”的日子,也是中。
- 沈阳二手车在哪里办落户(沈阳试点二手车交易登记)
- 2024-11-25沈阳试点二手车交易登记本月起,公安交管12项便利措施正式实施,其中之一是在沈阳等20个城市试点推行小型非营运载客汽车二手车异地交易登记“跨省通办”实行车辆交易登记一地办理、档案电子化网上转递,方便群众在车辆转入地直接办理交。
- 幻塔环海轮刃强度如何(环海轮刃PVE向评测与食用指南)
- 2024-11-25环海轮刃PVE向评测与食用指南作者:NGA-木乃喵先上驾照防云1、前言环海轮刃(下称环刃)是常驻特供池的物理属性强攻武器,拥有高达13.0的破防资质,武器定位关键词:破盾、爆发、辅助、对大型在现有武器当中独一档的超高主动技倍率是环。
- cf最近有什么好弄的武器(CF百科全书)
- 2024-11-25CF百科全书哈喽,小伙伴们大家好,我是你们的老朋友厂长阿佛,欢迎大家收看本期的爆料资讯!今天阿佛给大家带来的是国服&外服武器大合集的第4期(每期6把武器)!!M4A1-Scope-Silencer-Brazil二。
- 男生两边剃光中间留长的发型(14款男生把两边头发剃掉之后刻痕的发型)
- 2024-11-2514款男生把两边头发剃掉之后刻痕的发型男生的发型怎么梳才好呢?男生的发型设计上,不仅能给头发做成剃鬓角发型,还能在头上像是作画一样,刻出各种各样的纹理哦~男生头发两边剃的图案都有什么样的呢?有困难也有简单的,男的把两边头发剃掉之后刻痕很帅。
- 广东沙姜鸡做法大全(粤菜沙姜鸡这一步是关键)
- 2024-11-25粤菜沙姜鸡这一步是关键导语:粤菜沙姜鸡,这一步是关键,做好了肉香嫩多汁,比白切鸡还好吃沙姜鸡是一道非常有特色的传统粤菜,是取嫩滑的鸡肉,经过特殊的烹饪工序制作而成,沙姜鸡的外皮清爽,肉质嫩滑,非常的鲜嫩美味,这道菜被流传开。
- 我的世界里面如何做水电梯(之前的水电梯已经OUT了)
- 2024-11-25之前的水电梯已经OUT了Hello,大家好,大家在生存盖房子的时候都需要一种攀爬工具来爬到自己房子的二楼或者是上升到某一个地方,我们可以用到什么工具呢?梯子、藤蔓、末影珍珠,还有各种方块都支持我们搭高来到目标地点但是这些都太。