返回
马赛克背后的真相（马赛克克星真来了）
马赛克背后的真相（马赛克克星真来了）
2024-11-22 03:30:40  作者:轻唱我爱你  网址:https://m.xinb2b.cn/tech/dyk434976.html

今天跟大家聊聊 MAE，何恺明大神的新作。

我们先说下 MAE 的任务：


简单讲：将图片随机遮挡，然后复原。

并且遮挡的比例，非常大！超过整张图的 80%，我们直接看效果：


第一列是遮挡图，第二列是修复结果，第三列是原图。

图片太多，可能看不清，我们单看一个：


看这个遮挡的程度，表针、表盘几乎都看不见了。但是 MAE 依然能够修复出来：


这个效果真的很惊艳！

甚至对于遮挡 95%面积的图片依然 work。


看左图，你能看出来被遮挡的是蘑菇吗？？

MAE 却能轻松修复出来。

MAE

MAE 的意义不仅在这个修复遮挡，去掉 mask 本身。更在于为 CV 领域大一统的预训练模型提供了无限的想象。

做过 NLP 的小伙伴应该知道，在 NLP 任务中，Bert 已经一统江湖。各子任务（如翻译、生成、文本理解等）均可使用相同的无监督预训练模型。这保证了每个任务都能有非常不错的效果。

但在 CV 任务中，却各玩各的，分类任务有自己的无监督学习，检测任务有自己的无监督学习，每个 CV 领域的子任务，都有自己一套无监督学习，一直无法统一。

而 MAE 一出，可以想象大一统的 CV 无监督预训练模型的时代已不远矣。

可能这段话，一些刚入门的小伙伴看不太懂。

没关系，慢慢学。学了 Bert，你就明白这意味着什么了。MAE 就是类似 Bert 存在的东西，可以认为它就是 Bert 的一个 CV 版。

接下来简单讲解下 MAE。

Vit

讲解 MAE 之前不得不先说下 Vit。

红遍大江南北的 Vision Transformer，ViT。

领域内的小伙伴，或多或少都应该听说过。

它将 Transformer 应用到了 CV 上面，将整个图分为 16 * 16 的小方块，每个方块做成一个词，然后放进 Transformer 进行训练。

从 ViT 开始，CV 小伙伴们终于可以更优雅地使用 Transformer了。

MAE

MAE 结构设计得非常简单：


将一张图随机打 Mask，未 Mask 部分输入给 Encoder 进行编码学习，这个 Encoder 就是 Vit，然后得到每个块的特征。

再将未 Mask 部分以及 Mask 部分全部输入给 Decoder 进行解码学习，最终目标是修复图片。

而 Decoder 就是一个轻量化的 Transformer。它的损失函数就是普通的 MSE。

所以说， MAE 的 Encoder 和 Decoder 结构不同，是非对称式的。Encoder 将输入编码为 latent representation，而 Decoder 将从 latent representation 重建原始信号。

更详细的细节大家可以直接看看论文：

https://arxiv.org/abs/2111.06377

算法测试

官方刚刚开源6天，就已经获得了1.5k 的 Star，关注度可见一斑。


项目地址：

https://github.com/facebookresearch/mae

项目提供了 Colab，如果你能登录，那么可以直接体验：

https://colab.research.google.com/github/facebookresearch/mae/blob/main/demo/mae_visualize.ipynb


如果不能登录，可以直接本地部署，作者提供了预训练模型。


一起看下我跑的效果：


这个修复效果，你打几分？

最后

MAE 可以用来生成不存在的内容，就像 GAN 一样。

很多小伙伴可能又有了一些“大胆”的想法，不过玩笑归玩笑，自己玩玩就好，大家还是要遵纪守法哦~

  • 男士十大入门级腕表（可以没有但不能不懂）
  • 2024-11-22可以没有但不能不懂前言：对于男士而言，日常饰品总不类女生的多，来来去去无外乎领带、皮带、钱包、手表……离2020小康年也没几天了，男士如果准备年终犒劳自己，手表算是不错的选择；又如果是准备送礼的，相比皮带、钱包这样比较。
  • 六度波罗蜜教学（十波罗蜜列表是一个很好的修法）
  • 2024-11-22十波罗蜜列表是一个很好的修法在修行上，一般经典讲六波罗蜜，施戒忍进禅般若，波罗蜜是梵音，就是完成的意思华严讲十波罗蜜，由六波罗蜜加上方便愿力智，前六为根本智慧，后四为方便智慧基本佛法在这里，非常具体，有无量波罗蜜，一共举十个作为。
  • 郑智国足百场时间（国足队史今天2012年0比1西班牙）
  • 2024-11-22国足队史今天2012年0比1西班牙国足队史今天：2012年0比1西班牙，郑智等PK世界杯欧洲杯双料冠军2012年6月3日，在西班牙塞维利亚奥林匹克体育场,中国男足国家队对决当时世界排名第一的世界杯和欧洲杯双料冠军西班牙男足国家队因为国。
  • 成都动物免疫证办理 我为群众办实事
  • 2024-11-22成都动物免疫证办理 我为群众办实事区农业农村局用心用力抓好“我为群众办实事”实践活动，在“亲民、为民、便民”的理念下，根据五华区主城区饲养犬、猫等宠物的人越来越多的实际情况，推出了统一的电子免疫证宠主在辖区范围内宠物诊疗机构进行狂犬等。
  • 甲醇燃料电池的缺点（现在研发甲醇燃料电池难吗）
  • 2024-11-22现在研发甲醇燃料电池难吗很多人会发现，现阶段研究氢燃料电池的公司和团体比较多，不过研究研发甲醇燃料电池的公司和团体比较少那么现阶段研发甲醇燃料电池有何难度？首先，我们要先了解一下何为甲醇燃料电池甲醇燃料电池是属于质子交换膜燃。
  • nba现主播个人资料（腾讯NBA竟然会有6位颜值逆天的主播小姐姐）
  • 2024-11-22腾讯NBA竟然会有6位颜值逆天的主播小姐姐经常看腾讯NBA的都知道，每场比赛都会有主播小姐姐在直播间跟网友进行互动，她们不仅拥有超高的文化素养还有超高的颜值，对于宅男来说那就是心中的女神！那么我们就来看看腾讯NBA里面到底有哪些漂亮的主播小姐。
  • 颈椎病的八大症状（颈椎病五大症状以及治疗误区）
  • 2024-11-22颈椎病五大症状以及治疗误区颈椎病又称颈椎综合征，是颈椎骨关节炎、增生性颈椎炎、颈神经根综合征、颈椎间盘脱出症的总称，是一种以退行性病理改变为基础的疾患主要由于颈椎长期劳损、骨质增生，或椎间盘脱出、韧带增厚，致使颈椎脊髓、神经根。
  • 女性肾虚有哪几种表现（5种症状表明女性肾虚）
  • 2024-11-225种症状表明女性肾虚女性也会肾虚吗？说到肾虚，大家首先会想到男性，但事实上，女性也是很容易肾虚的，而且对女性健康的危害也是极大的，所以各位女性朋友在肾虚这个问题上同样要引起重视啊下面我们就一起来看看女性肾虚的症状以及预防。
  • 牛奶咖啡歌曲（你听过几首）
  • 2024-11-22你听过几首《穿越珊瑚海》是一张歌曲专辑名称时隔3年，牛奶@咖啡发表第二张创作专辑《越长大越孤单》，褪去首张专辑的青涩外衣，牛奶@咖啡以真挚感性的一面重新面对听众，将成长过程中内心世界的细腻感受完整呈现在新专辑的。
  • 流浪地球2海报在哪里（海报直击流浪地球2在这里拍摄制作）
  • 2024-11-22海报直击流浪地球2在这里拍摄制作大众网·海报新闻记者张稳张珈玮青岛报道这个春节，高口碑、高票房的国产科幻电影《流浪地球2》，让观众的讨论度和关注度始终居高不下，同时也让其制作生产基地青岛东方影都频频登上热搜，受到海内外关注作为山东省。
  • cn期刊指的是什么（什么是CN期刊）
  • 2024-11-22什么是CN期刊什么是CN期刊，CN期刊是指什么，我们每天有几十个作者过来咨询，其中很多人第一句话就是，我想在CN期刊发表论文，或者是怎么在CN级别的刊物上发表论文作者之所以这样问，是有原因的，这是因为很多单位有明确。
  • 新赛季三分命中率最低排行榜（100天能将3分命中率提高18）
  • 2024-11-22100天能将3分命中率提高18每年NBA休赛期上100天不仅是球员们修养身体放松身心的蜜月，也是提升自身能力，加强自身武器库的绝佳时期，不断提升自我，努力开发新技能是一名优秀的篮球运动员所必备的优良品质新赛季东西詹的三分令对手闻风。