栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
古往今来,大家都知道:只要图像一平移,CNN就认不出来了。
原因就在降采样身上。不管是最大池化,跨步卷积,还是平均池化,都对平移太敏感:
比如,0、0、1、1、0、0、1、1……这样的周期,最大池化是这样:
但如果平移一格,最大池化完全变了一个样子:
虽然,有著名的抗锯齿 (Anti-Aliasing,AA) 方法,致力解决这个问题。但把这种模块直接插进网络,会严重影响模型的表现。
现在,来自Adobe的Richard Zhang (简称“理查”) ,让抗锯齿和各种降采样和平共处了。
在保留平移不变性的情况下,还能提升ImageNet上的分类准确率。VGG、ResNet、DenseNet……各种架构都适用。
不止如此, 面对其他干扰更稳定了,如旋转如缩放;面对输入图像的损坏,还更鲁棒了。
研究登上了ICML 2019,代码已经开源,还有演讲可以看。Reddit热度已经超过了250,观众纷纷表达了谢意:
论文很厉害,演讲也很好。
怎样和解的?想知道怎样帮助CNN保留平移不变形,就要了解平移不变性是怎样打破的。
理查观察了VGG的第一个卷积层,发现它对平移毫无波澜,并不是在这里打破的。
但再观察第一个池化层,对平移有了反应:平移偶数个像素,表征还不改变,平移奇数个像素,表征就完全变了。
向网络深处走,经过的池化层越多,问题就越严重。
△抗锯齿
想解决这个问题,就要把抗锯齿和降采样友好地结合到一起。
于是,理查又仔细查看了降采样过程,把它 (按顺序) 分成了两个部分:
一是取最大值,用密集的方式。二是在中间特征图 (Intermediate Feature Map) 上做子采样 (Sub-Sampling) 。第一步没有问题,完全不会出现锯齿。
第二步就要改了。理查给中间特征图,加了个模糊滤波器 (Blur Filter) 来抗锯齿,然后再做子采样:
△(2)为滤波器
那么,“抗锯齿版最大池化”效果怎么样?
平移不变性与准确率兼得
理查用ImageNet分类任务测试了一下进化后的VGG,原以为会损失一些准确率,结果:
△右为抗锯齿
△空心为抗锯齿
在解锁平移不变性的同时,准确率还提升了。
如果降采样方法不是最大池化,又怎么样呢?
所以,理查还测试了ResNet和MobileNetv2,它们用的是跨步卷积;以及DenseNet,它用的是平均池化:
△空心为抗锯齿
这些架构也获得了类似的提升。全面成功。
上面只讲了分类这一项任务。而进化后的降采样,在图到图翻译任务上也同样有效。
不惧各种变换,以及图像损坏
不只是平移,像旋转、缩放这样的干扰,都可以应对自如;另外,面对输入图像损坏 (Image Corruption) ,也变得更加鲁棒了。
ImageNet-P数据集里,有受到各类干扰的图像;而ImageNet-C数据集里,包含了系统性损坏的图像。
△mCE=Mean Corruption Rate, mFR=Mean Flip Rate
左边一栏 (除了Baseline) 之外,是不同的滤波器,从上到下依次变强。mCE和mFR,都是越小越好。
数据显示,各种滤波器都能有效增强,应对干扰的稳定性,和应对图像损坏的鲁棒性。其中,最强的过滤器Bin-5表现最佳。
One More Thing如果小伙伴们没有看够,可以点开演讲视频:
然后,还有一大波传送门。
论文在此:
https://arxiv.org/abs/1904.11486
项目主页:
https://richzhang.github.io/antialiased-cnns/
开源代码:
https://github.com/adobe/antialiased-cnns/
— 完 —
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
cnn做图像分类详解(给CNN平移不变性同时提升ImageNet成绩)
2024-11-08 12:14:18 作者:哗众取宠 网址:https://m.xinb2b.cn/know/ftb223314.html
- 谷歌免费dns配置(谷歌宣布DNSOver)
- 2024-11-08谷歌宣布DNSOver谷歌还表示其正在弃用此前的/experimentalURL路径和dns.google.com的互联网草案DoH支持,并将在几个月内结束对它们的支持作者/来源:安华金和谷歌近期宣布其DNSOverHTT。
- 芹菜炒生腊肠家常做法(大厨用芹菜炒了个腊肠)
- 2024-11-08大厨用芹菜炒了个腊肠大家好,我是第一美食的阿飞,关注阿飞,有更多的家常美食供大家参考今天为大家分享一道“芹菜炒腊肠”的做法,腊肠俗称也叫香肠,肉类为原料,经切,绞成丁,配以辅料,灌入动物肠衣经发酵、成熟干制成的肉制品,是。
- 安阳林州市有什么区(为什么说林州市被称为安阳的后花园)
- 2024-11-08为什么说林州市被称为安阳的后花园大家都知道林州市红旗渠的故乡,是红旗渠精神的发阳地该市属于安阳市管辖的县级市,全市总面积2046平方公里,总人口约105万人先后获得全国卫生城市、全国文化模范城市、全国科技工作先进市、全国造林绿化百佳。
- 不明白这首歌是谁唱的(这首歌应该这样唱)
- 2024-11-08这首歌应该这样唱《爱就一个字》今年开春在抖音再次翻红,这首歌最开始是动画电影《宝莲灯》的片尾曲,由张兴哲演唱作为一部动画电影的插曲,这首歌曲中的“爱”讲述得更多的是母子情张信哲作为情歌王子,他声音细腻、清澈、明亮却又。
- 夏季冷门潮鞋(沙滩上大家也不怕咯脚)
- 2024-11-08沙滩上大家也不怕咯脚夏天到了,很多人都喜欢到沙滩上玩玩水,晒晒日光浴,但是自己带来的拖鞋放在沙滩上老是被人穿走,狠心不带拖鞋进入沙滩的话,那些沙石特别咯脚,而现在有一种隐形鞋只需要将它轻轻贴在自己的脚底便可以光脚实现不被。
- 酸豆角简单做法(制作酸豆角的步骤)
- 2024-11-08制作酸豆角的步骤首先要一个泡菜坛子或者是能密封的玻璃器皿,洗干净保证无油干燥新鲜的豆角撕去老筋洗干净,晾干表面的水分准备一个大的干净的盆,把晾好的豆角放进去,然后放盐(如果能买到腌制专用的盐就更好了),照着500g豇。
- 吃薏米的禁忌(红豆薏米的副作用)
- 2024-11-08红豆薏米的副作用众所周知,红豆薏米粥具有祛湿健脾的功能,这主要得益于红豆解毒清热、补虚降脂的功效和薏米的清热祛湿、健胃健脾的功效红豆薏米搭配,营养功效翻倍而且做法简单,味道美味,所以大人小孩都适宜吃,都喜欢吃但是红豆。
- 诺基亚复刻版5310可以上网吗(手机里暗藏蓝牙耳机)
- 2024-11-08手机里暗藏蓝牙耳机暗藏蓝牙耳机的手机你见过没?7月份,诺基亚推出三款经典新机,其中有款自带耳机的手机令人印象深刻,该机正是主打音频使用体验的诺基亚5710XpressAudio今日,诺基亚5710XpressAudio。
- 纸醉金迷田佩芝跳舞第几集(纸醉金迷剧评田佩芝)
- 2024-11-08纸醉金迷剧评田佩芝纸醉金迷是一曲悲歌,张恨水老先生这部作品立意深刻,时代背景是民国时期,每个人物个性鲜明、有血有肉,导演把作品呈现出来的时候,最初,我是被陈好演的田佩芝吸引了,因为什么?因为美!不信上图,大家品品!陈好。
- 巩俐经典片段(夺冠三页台词不NG)
- 2024-11-08夺冠三页台词不NG2019年,电影《夺冠》宣布巩俐加盟影片并饰演"郎平"的消息一放出来,大家反响十分热烈巩俐是国际影后,大家对她有着十足的信心当"郎平"的剧照出来之后,所有人都惊呆了,这。
- 兰州铁路局将增开9对旅客列车(7月1日零时起兰州局集团公司多趟列车进行调图)
- 2024-11-087月1日零时起兰州局集团公司多趟列车进行调图动车组西固站时刻表中国甘肃网6月5日讯据兰州日报报道(记者何怡璇)6月4日,记者从中国铁路兰州局集团公司获悉,从2018年7月1日零时起,兰州局集团公司将再次调整列车运行图据悉,这次调整列车运行图,涉。
- 上班第一天被老板绑架(白天工作被老板虐)
- 2024-11-08白天工作被老板虐「美味餐厅:圣诞颂歌」已经是美味系列的第14部了,这个游戏就好像是一部美剧一样每一季都是围绕相同抑或是前几部周边人物开展故事线,并且这部「美剧」已经播到了十几部,简直惊人!在我的游戏生涯中,很少有游戏。