返回
cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）
cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）
2024-06-30 09:00:15  作者:哗众取宠  网址:https://m.xinb2b.cn/know/ftb223314.html

栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(1)

古往今来，大家都知道：只要图像一平移，CNN就认不出来了。

原因就在降采样身上。不管是最大池化，跨步卷积，还是平均池化，都对平移太敏感：

比如，0、0、1、1、0、0、1、1……这样的周期，最大池化是这样：

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(2)

但如果平移一格，最大池化完全变了一个样子：

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(3)

虽然，有著名的抗锯齿 (Anti-Aliasing，AA) 方法，致力解决这个问题。但把这种模块直接插进网络，会严重影响模型的表现。

现在，来自Adobe的Richard Zhang (简称“理查”) ，让抗锯齿和各种降采样和平共处了。

在保留平移不变性的情况下，还能提升ImageNet上的分类准确率。VGG、ResNet、DenseNet……各种架构都适用。

不止如此， 面对其他干扰更稳定了，如旋转如缩放；面对输入图像的损坏，还更鲁棒了。

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(4)

研究登上了ICML 2019，代码已经开源，还有演讲可以看。Reddit热度已经超过了250，观众纷纷表达了谢意：

论文很厉害，演讲也很好。

怎样和解的？

想知道怎样帮助CNN保留平移不变形，就要了解平移不变性是怎样打破的。

理查观察了VGG的第一个卷积层，发现它对平移毫无波澜，并不是在这里打破的。

但再观察第一个池化层，对平移有了反应：平移偶数个像素，表征还不改变，平移奇数个像素，表征就完全变了。

向网络深处走，经过的池化层越多，问题就越严重。

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(5)

△抗锯齿

想解决这个问题，就要把抗锯齿和降采样友好地结合到一起。

于是，理查又仔细查看了降采样过程，把它 (按顺序) 分成了两个部分：

一是取最大值，用密集的方式。二是在中间特征图 (Intermediate Feature Map) 上做子采样 (Sub-Sampling) 。

第一步没有问题，完全不会出现锯齿。

第二步就要改了。理查给中间特征图，加了个模糊滤波器 (Blur Filter) 来抗锯齿，然后再做子采样：

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(6)

△(2)为滤波器

那么，“抗锯齿版最大池化”效果怎么样？

平移不变性与准确率兼得

理查用ImageNet分类任务测试了一下进化后的VGG，原以为会损失一些准确率，结果：

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(7)

△右为抗锯齿

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(8)

△空心为抗锯齿

在解锁平移不变性的同时，准确率还提升了。

如果降采样方法不是最大池化，又怎么样呢？

所以，理查还测试了ResNet和MobileNetv2，它们用的是跨步卷积；以及DenseNet，它用的是平均池化：

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(9)

△空心为抗锯齿

这些架构也获得了类似的提升。全面成功。

上面只讲了分类这一项任务。而进化后的降采样，在图到图翻译任务上也同样有效。

不惧各种变换，以及图像损坏

不只是平移，像旋转、缩放这样的干扰，都可以应对自如；另外，面对输入图像损坏 (Image Corruption) ，也变得更加鲁棒了。

ImageNet-P数据集里，有受到各类干扰的图像；而ImageNet-C数据集里，包含了系统性损坏的图像。

cnn做图像分类详解（给CNN平移不变性同时提升ImageNet成绩）(10)

△mCE=Mean Corruption Rate, mFR=Mean Flip Rate

左边一栏 (除了Baseline) 之外，是不同的滤波器，从上到下依次变强。mCE和mFR，都是越小越好。

数据显示，各种滤波器都能有效增强，应对干扰的稳定性，和应对图像损坏的鲁棒性。其中，最强的过滤器Bin-5表现最佳。

One More Thing

如果小伙伴们没有看够，可以点开演讲视频：

然后，还有一大波传送门。

论文在此：

https://arxiv.org/abs/1904.11486

项目主页：

https://richzhang.github.io/antialiased-cnns/

开源代码：

https://github.com/adobe/antialiased-cnns/

— 完 —

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

  • 三亚用英语怎么说（三亚的简介）
  • 2024-07-01三亚的简介三亚的英文写法为Sanya三亚，简称崖，古称崖州，别称鹿城是海南省下辖地级市，位于海南岛的最南端三亚东邻陵水县，西接乐东县，北毗保亭县，南临南海，介于北18°09′34″~18°37′27″、东经10。
  • 一个好的青年对人生的意义（评论只要有青春的精神）
  • 2024-07-01评论只要有青春的精神喊着“躺平”的这届年轻人，其实不曾有过“拉垮”的时刻阳光正好，鲜花正艳五四青年节，想对青春的你说一声，节日好！诗人席慕蓉说，青春是一本太仓促的书这对于不再年轻的我来说，却还想“一读再读”二十出头的小表。
  • 巧克力的花样吃法适合孩子吃（巧克力新做法简单又香脆）
  • 2024-07-01巧克力新做法简单又香脆在香港，有一家叫珍妮曲奇的饼店，排队一两个小时不说，而且还限购前几天，苏苏的小姨从香港回来探亲，居然给我带了珍妮曲奇的夏威夷果仁可可脆片！早就听说这个网红饼干特别的好吃，尝过之后，我终于知道，为什么会。
  • 北方北风那个吹（北风那个吹一）
  • 2024-07-01北风那个吹一引子神女峰是孤女山的主峰今天一早，刘明和上司王恨颖约好一起去爬孤女山，想和神女来个不期而遇的盛会可是天变无时辰，早上还是阳光明媚，艳阳高照，到了下午，不仅开始了下雪，那个北风也吹得嗷嗷直叫天气一变，这。
  • 方舟生存进化端游有几种泰克生物（Steam10款耐玩游戏盘点）
  • 2024-07-01Steam10款耐玩游戏盘点由于这些年来游戏行业的不断发展，越来越多的优质游戏开始出现在玩家们的眼前，下面这10款就是Steam最近几年推出的优质作品，它们价格可能有些小贵，但是都很具性价比，喜欢的玩家可以瞄准机会入手一波《方舟。
  • 你若不离不弃我必相随（你若不离我定不弃）
  • 2024-07-01你若不离我定不弃雪花飞，飘夜泪，人间是非藏情真，是谁，裁剪花魂，问我一生，是谁三世眷恋，写我长虹一年左眼的泪水，右眼的思念，说什么一往情深，看什么最深的梦，一别经年，婵娟走了，人也散了花若惊鸿，鸟也许心，冷画眉，相思。
  • 江西学校丢弃女婴（山东一大学女生宿舍现婴儿哭声）
  • 2024-07-01山东一大学女生宿舍现婴儿哭声“知止而后有定，定而后能静，静而后能安，安而后能虑，虑而后能得”，不少大学生忘了考上大学的初衷，不思学业耽于享乐，尤其是遇到事情时不能冷静思考，行事冲动，以至于自尝苦果大学的自由是很多高中生憧憬的，尤。
  • 现代汝瓷怎么养（汝瓷要怎么养）
  • 2024-07-01汝瓷要怎么养仿汝的开片为使用的一大乐趣有表里开片，和内开外不开两种表里开片，可在每次饮茶时，用茶汤冲洗茶具外侧，使其开片显现，亦可常用养壶笔、毛笔等沾茶水涂抹茶具外侧而内开外不开则和其相反，要尽可能的防止茶汤沾染。
  • 在婚姻中妻子是值得信任的人吗（老婆究竟有多重要）
  • 2024-07-01老婆究竟有多重要一段婚姻关系的建立，老婆总是在婚姻中占据着至关重要的作用，同时她对家庭所做出的贡献也是不可磨灭的，但是在我们日常生活中的很多家庭里，老婆在家庭中的重要性总被忽略，就像很多男人在追你的时候对你有求必应，。
  • 网约车小白入行（网约车入行建议）
  • 2024-07-01网约车入行建议如果你确定要跑网约车，不撞南墙不回头，我们来谈谈怎么跑首先是选车，这个很重要，第一，你是想办证跑合规车还是不办证跑黑车，办证不办证对几个大平台来说，目前没有什么区别，只有运管抓不抓的问题办证的好处是机。
  • 徐海学院2022新校区（徐海学院将或迁建至大学路）
  • 2024-07-01徐海学院将或迁建至大学路7月29日，中国矿业大学徐海学院官网发布关于征求新校区建设项目规划设计方案意见的通知，通知中称：根据徐州市人民政府文件精神，徐海学院拟在铜山区规划选址约1000亩地块建设新校区据相关媒体了解，确定中国。